确认蜘蛛程序来访问

如果蜘蛛程序进不来你的站点，网页就不能被收录，站点也不会被自然搜索者发现。网站管理员可以通过检查网站服务器的日志文件来看哪种搜索蜘蛛程序已经造访了自己的站点（大多数网站服务器都可以通过设置记录搜索蜘蛛程序的造访，但是有些服务器可能需要网站管理员来调整）。日志文件指出入口网页记录的用户代理的名字，它是用什么程序来看到这个网页的。

大多数对站点的访问都产生个日志的列表，例如Mozillal4.D(兼容的：MSIE 55，Windows hIT 5.0)．指出用户采用IE 5.5测览器来访问你的站点。和你预料的一样，日志文件列出的大多数用户代理来自于互联网浏览器。但是少数的日志文件会显示蜘蛛程序爬过的信息，“www.nmgf.net”，你可能猜到了，是google的用户代理。雅虎形象地命名其蜘蛛程序为“Slurp”。