新闻
打造企业生态系统孵化器  建设企业智慧成长生态城

网站建设优化,阻碍蜘蛛程序,使用HTML也能达到同样的效果

发布于:2013-08-06 浏览:2571

通常所说的动态页面是指HTML代码没有被永久储存在网站服务器文件中的网页。对动态页面而言,是程序实时创建了HTML-当访客要求查看页面的时候,浏览器显示的HTML就好像它们已经被存在了一个文件里面。

 

在互联网的最早时期,网页是由人创建一个文件并加入HTML代码来建立的。文件名和存放的目录构成了URL因此,如果你在Web服务器上创建了一个名为“sale.html"的文件并将其存放在名为“offers”的项级目录下,URL就是www.你的域名.com/offers/sale.html。(除非改变了文件名或者将其移动到新的目录下,URL将保持不变)为了与动态网页相区别,这种网页现在被称为静态网页(内蒙古网站建设)。

 

没过多久静态页面的局限就体现出来——每次查看时它们包含的信息完全相同。很快,定义了所谓的CGI-最早的动态网页技术,CGI允许Web服务器运行一个程序来动态地创建网页的HTML并将其返回到访问者的Web浏览器中。通过那种方式,就不再需要建立含有HTML的文件——程序可以在网页被查看时生成HTML.

 

你可能已经注意到有些网址与众不同——它们包含了通常的目录和文件名所不能体现的特性。有一个具体的意义,掌管着动态页面的内容显示。每个动态网址的参数(以“&一开头的词)给蜘蛛程序制造了障碍。因为任何值(后面跟有“="的词)都能够传给变量,搜索蜘蛛无法知道对同一个网页到底能够显示多少个

不同的版本。有时候传递给每个参数的不同值表明了网页之间合理的差别,但是另一方面,这些值与显示的内容没有任何关系,例如所谓的“追踪代码”,网站出于评估的目的用它来记录访客从什么地方来。一个蜘蛛程序会查看同样的网页上千遍,因为网址上的追踪参数每次都是不同的。这种方法不只是浪费了蜘蛛程序的时间(这些时间可以用来查看其他网站的新网页),而且导致这些网页被收录,造成了内容的大量重复。很显然,蜘蛛程序必须提防动态网站。