如果你的网页在允许显示之前先要测试JavaScript,那么它就不能向蜘蛛程序显示,而且上面的其他链接也不能对蜘蛛程序开通。现在很多网站开发人员喜欢Ajax(Asynchoronous JavaScript And XML)技术,但要注意不能因为需要使用JavaScript来显示而将你的内容隐藏了起来。
要看清这些问题,在浏览器中关闭图形、cookie和JavaScript功能-Firefox WebDevcloper add-on)做这个很在行——或使用只有文本的Lynx浏览器(lynx.browser.org)你会发现哪个网页强制使用某种技术,并且你可以看清楚蜘蛛程序实际看到的东西。只要你想要做的是比点击一个链接更复杂,蜘蛛程序就可能被阻拦住了。