检查日志文件

通过检查日志文件，你可以说出哪种蜘蛛程序来过站点，并且它们造访的频率怎样。然而，作弊者出于卑鄙的目的使用这些用户代理的名字。很多大家知道的方法如伪装（cloaking）和IP发送（IP  delivery），他们使用古老的“上钩掉包（低价引诱，并高价销售）"伎俩的高技术版本。原理是这样的：这些作弊者用一个程序动态建立一个网址，等待其他人来访问。如果收到请求，就去检查用户代理的名字和IP地址。如果是浏览器提出了请求（例如，通过Moliza来浏览名字），这个程序就返回访问者应该看到的网页。如果是一个搜索引擎的蜘蛛程序，这个程序就会返回一个满是关键词的网页以得到高的搜索排名。然而使用这种技术针对访客看到的内容来愚弄搜索引擎，是明显的作弊行为，搜索引擎会严厉对待的。除非知道所做的事是可以接受的，伪装是个非常危险的游戏，会使你的站点被限制。伪装可以快速提高排名，但是当竞争者看到你的所为，他们会向搜索引擎申诉，并让你出局。

搜索引擎蜘蛛程序按自己的频率回访你站点。蜘蛛程序回访一个一般的站点至少需要一个月，但是热门公司站点就可能每周甚至每天被回访。通过分析蜘蛛程序爬过你网页的频率，以及哪个网页它们查看最多，你会知道站点内容需要被多快更新才会被反映在搜索中。