很多中到大型的组织在多个国家内开展业务,经常要求它们显示相同的产品和不同的内容,在每个国家使用不同的语言、流通货币和法律条款。这些组织通常按一系列的国家站点组织它们的网站域。各国内的网站链接到主域的方法不同,爬虫程序搜索的结果也各异:可能很容易就会进去也可能完全进不去。
这就是为什么你需要使用国家地图。国家地图和站点地图一样,是对搜索友好的网页,把所有的公司网站站点一起都链接到你的总公司网站上面。和站点地图一样,公司地图也必须使用标准的HTML链接到每个公司的站点——而不是JavaScript。
在互联网上,爬虫通道都是一个价值无法估量的方法,使你的站点有更多的网页得到抓取。不管你是使用国家地图或者站点地图,或者一个相关的技术,你都给蜘蛛程序提供了轻松进入你站点每个页面的入口,留下一个出口来躲避麻烦的蜘蛛陷阱。
公司新闻http://www.nmgf.net/NewsList.html