中小企业网站建设，为了保证服务器性能

发布于：2013-08-05　浏览：2630

呼和浩特网站建设网站管理员有理由使蜘蛛程序远离某些服务器上的目录一一为了保证服务器性能。大多数网站服务器都有程序储存在“cgi-bin”目录，因此在robms.txt文件中加入“disallow一/cgi-bnl”是个好主意，这样能够避免将所有的程序文件（蜘蛛程序对这些根本没兴趣）发送给蜘蛛程序，于是节省了服务器资源。当一个鲁莽的网站管理员不了解禁止其他或全部文件带来的影响，就会有麻烦了。意外的排斥对所有网站来说很普遍，而很多网站管理员使用robots.txt文件来故意排斥蜘蛛程序。设想一下，这个文件被用在站点正式上线前阻止蜘蛛来访。不幸的是，排外的robotstxt文件可能在系统上线之后还留在那里，导致整个网站不能被搜索引擎收录。

除了robots.txt能够控制蜘蛛程序爬过整个网站，还有一种方法来指导蜘蛛如何访问网页-robotsmetatag，在页面HTML的<head>部分，一系列的metatag通常以<metaname-type>形式出现（这里“type”是metatag的种类）。robots标签就是其中一种这样的metmag((meta name-‘robots’，)，它可以控制是否网页需要收录，是否可以顺着页面上的链接继续爬行。

如果robots.txt限制某个特定的网页，那么robotsmetatag说什么都不重要，因为蜘蛛程序根本不会看那个网页。但是如果robots.txt允许蜘蛛程序来访问网页，那么蜘蛛程序在访问页面时就会查看robotsmetatag。