新闻
打造企业生态系统孵化器  建设企业智慧成长生态城

b2b网站制作公司,网页太大蜘蛛可能不会去爬

发布于:2013-08-07 浏览:2823

一旦你消除了蜘蛛陷阱,并且蜘蛛程序可以爬过你的网页,你可能要面对的下一个问题是它们忽略了你的一些内容。蜘蛛程序的口味很刁,如果你的内容不是那么可口,它们会转移到下一个网页或者下一个站点。让我们看看你该做些什么来保证你的蜘蛛食物尽可能对它们有吸引力。

 

我们大多数人一样,蜘蛛程序不愿意做不必要的工作。如果你的HTML网页例行公事地由几千行构成,蜘蛛程序不太愿意去全部收录它们,或者不经常收录它们。用爬过臃肿网站的同样时间,它们可以多爬两个其他的网站。

 

实际上,每个蜘蛛程序在爬过一定大小的页面后会停止爬行。Google和雅虎看来在大约10万个字母处停止,但是每个蜘蛛程序都有程序的限制在里面。如果你的网页太大,它们可能根本不会去爬。

 

把一个大的网页分开有助于提高关键词密度,例如(内蒙古网站建设)以及联系我们因为可以使主要的关键词在词的海洋里更加突出。这不仅对搜索引擎有益,你的访客也会高兴的。

 

最经常导致网页冗长的原因是嵌入了JavaScript代码。不管是什么原因,这里没有技术上的理由来让网页变得这么大,并且你应该坚持把这些页面修改好。修改JavaScript导致的冗长比大的文本网页要容易——你需要做的所有事情是将JavaScript从你的网页转到一个外部的文件。代码同样工作,而蜘蛛程序不必去爬过它。

 

我们最近回顾了一个大型咨询公司的网页,发现其首页的源代码有21个打印页面那大约90%的内容是JavaScript,其中的很多可以被放到外部的文件里,并在网页装载的时候被调用。这么做会使得剩下的10%的内容变成可口的蜘蛛食物。如果你的网页因为这种类型的膨胀而痛苦,将它们的体形变小会提高被索引的网页数量(经常也提高了它们的搜索排名)