公司的网络维护，301状态代码是怎么样告诉蜘蛛程序

既然网页的URL经常改变，需要重定向使访客可以继续发现这些页面，蜘蛛程序和重定向的关系又是怎样的呢？蜘蛛程序，正如我们已经学习过的，是挑剔的小家伙，它们对网站管理员怎样执行网页的重定向特别挑剔。当一个网页永久地被从一个URL转移到另一个时，唯一使用的一种重定向被称为服务器端重定向—你可能听说过其被称为“301"重定向，状态代码返回到蜘蛛程序。301状态代码告诉蜘蛛程序网页已经被永久地改变到新的URL上，并会使得蜘蛛程序做两件极其重要的事情：

 

爬过新的URL的网页．蜘蛛程序会按照你的意愿，使用301重定向所提供的新的URL来找到并爬过新的页面。它会索引页面上的所有内容，并会把新的URL收录到索引库中，因此所有带出那个网页的搜索会引导搜索者到新的URL上，而不是旧的。

 

将旧网页上的所有的价值进行传递．你已经知道了链接到你的网站有多么重要——当其他网页（特别是重要的网页）链接到你的网页时，搜索引擎会给你的网页排名升高。当蜘蛛程序看到一个301重新链接，它也会更新索引库中所有的链接信息，因此在旧的URL下你网页的所有的链接价值，将被转移到新的URL。