网站建设与管理，错误使用robots

 你网站的Robots标签指导蜘蛛程序是否收录网页，是否跟随上面的链接到其他的页面。在正常情况下，你不希望网页在编写的时候加上Robots标签（或者有“index．follow”收录可跟随链接的Robots标签）。有理由使用Robots标签来限制蜘蛛程序。站点上的有些网页只能按顺序从头开始查看，例如一个内蒙古网站建设或者一个网站建设演示。尽管有些搜索者会不按顺序而从中间来访问网站，有些站点的负责人可能不想让他们这样做，因此这些管理员会在虚拟演示的第一页加上一个Robots标签，指明“umex，follow”（可收录可跟随）并且在所有其他页面上具体指明“（不收录，不跟随）”。

 

另一个使用robots标签的原因是避免访问时出错。你的网站程序可能需要网页按照一个固定的顺序才能正常工作——例如你不能直接进入联系我们的页面。因为没有理由使联系我们被收录，所以你可以在那个页面加上“nofollow”（不收录，不爬行）来阻止搜索者直接进入购物车页面。

 

但大多数页面可能会被收录。当很多网页被收录而只有少数没有被收录时，robots标签是主要的原因。不幸的是，这个标签经常在创建网页的模板里被错误地定义。或者被一些网站开发人员错误使用。