如果你和我们年纪相仿,可能会记得Pac-Man电视游戏:有一个饥饿的黄点在屏幕上闲逛吃掉其他圆点,但是每次当遇到障碍的时候就换个路线。搜索蜘蛛的行为是类似的。它们会饥饿地去吃蜘蛛粮食——网页,直到他们遇到障碍物——于是它们改变路线到一个不同的方向。让我们看看一些最常见的技术依赖:需要cookie.“cookie”是储存在访客计算机上的信息,网页可以使用这些信息来想起这个访客的有关信息。例如,如果你的网站在遇到一个用户访问站点时,在呼和浩特网站建设网页顶端说“欢迎你,简”,简这个名字就很可能是储存在简电脑的cookie文件中。
当简浏览你的网页时,她的浏览器读取cookie并在合适的地方显示她的名字。通常这种方法能顺利工作,但是如果网页要求简的浏览器必须使用cookie支持这个功能,否则它就会出现个错误页面,怎么办?首先,有些站点访客关掉了cookie功能(出于隐私的原因),这样他们有可能无法访问你的站点。但是搜索蜘蛛也不能接受cookie,因此它们被你的网页阻止了。我们的底线是你的站点既可以使用想要的cookie,但浏览网页又不必依赖它。如果你的站点要求访客的浏览器必须使用cookie(例如传递一个必须的区段标志符),使用本章前面提到过的IP发送技术就更合理。通过检测一个蛛蛛程序的用户代理名称和IP地址,你的程序可以让蜘蛛程序查看页面而不需要使用cookie,而仍然强制两站的浏览器使用cookie。要让开所有人员小心确保给蜘蛛程序和访客提交同样的页面,这样你才不是在作弊。