新闻
打造企业生态系统孵化器  建设企业智慧成长生态城

呼和浩特做网站|可以帮助解决这个问题

发布于:2013-07-10 浏览:2844

 

但是即使没有付费收录,最好的蜘蛛程序力图通过改变其重新访问的频率来进行补偿,并确保它们的索引库足够“新鲜”。蜘蛛程序更加频繁地回访变动迅速的网站。如果这个蜘蛛程序在同一天内访问了两个网页,那么它再次回到这两个网页的时间正好在一个月以后;如果这两个网页一个变了,另一个没有变,蜘蛛程序可以决定在两周之内回访变化过的网页,而在6周之后才回访那个没有变化的网页,日积月累,这项技术会极大地改变蜘蛛程序的回访率,通过更新频繁回访最经常变动的网页来提高索引库的新鲜程度。

 

蜘蛛程序也常常回访那些网页质量最高的网站。例如Google,比起其他的网页,往往更经常地回访Page页面值较高的网页(可能每周一次)。一般来说,雅虎的蜘蛛程序不像Google回访得这样频繁,但是也经常关注那些链接很多的网页。

 

其他方法

到目前为止,自然搜索引擎中绝大部分网页是由搜索引擎蜘蛛程序搜集来的。但是这也不是唯一的方法。有一些搜索引擎允许你的网站把数据发给它们,而不用非要等到蜘蛛程序爬过你的站点不可。雅虎、购物搜索引擎队及其他一些搜索引擎,允许你的网站提供个可信内容源。你的站点可以发送网页到搜索引擎,一旦搜索引擎收到这些网页,就把它们处理并存储在索引库中。

 

这些搜索引擎向可信内容源收取费用(如雅虎),一些(特别是购物搜索引擎)要求提供,但不收费,而另一些( Google)则根本不接受。(Google购物搜索和Google Base接受。)