您的当前位置: 主页 > 网络学院 > 网站知识 >
网站知识

浅谈史上搜索引擎的Robots三大规则

时间:2013-12-20 09:38来源:www.zjqyzx.com 作者:网站制作 点击:

robots.txt是一种存放于网站根目录下的文本文件,用于告诉索引擎的爬虫(spider),此网站的哪些内容是不应被索引擎的索引,哪些是可以被 索引。通常认为,robots.txt文件用来索引擎对目标网页的抓取www.zjqyzx.com robots.txt协议并不是一个规范,而只是约
        robots.txt是一种存放于网站根目录下的文本文件,用于告诉索引擎的爬虫(spider),此网站的哪些内容是不应被索引擎的索引,哪些是可以被 索引。通常认为,robots.txt文件用来索引擎对目标网页的抓取www.zjqyzx.com
  robots.txt协议并不是一个规范,而只是约定俗成的,通常索引擎会识别这个文件,但也有一些殊况。
  对于google来说,使用robots也未必能阻止google将网址编入索引,如果有其他网站链接到该网页的话,google依然有可能会对其进 行索引。照google的说法,要想彻底阻止网页的内容在google网页索引(即使有其他网站链接到该网页)出现,需要使用noindex元标记或x- robots-tag。例如将下面的一行加入到网页的header部分。
  <meta name="googlebot" content="noindex">
  如果google看到某一页上有noindex的元标记,就会将此页从google的索结果完全丢弃,而不管是否还有其他页链接到此页。

  对于百度来说,况和google类似,如果有其他网站链接目标网页,也有可能会被百度收录,从百度的说明页面上看,百度并不支持像google那样通 过noindex完全将网页从索引上删除,只支持使用noarchive元标记来禁止百度显示网页快照。具体的语句如下。
  <meta name="baiduspider" content="noarchive">
  上面这个标记只是禁止百度显示该网页的快照,百度会继续为网页建索引,并在索结果显示网页摘要。

  • 杭州网站制作
  • 杭州网站优化
  • 杭州网站推广
  • 杭州网站建设
  •  
      推荐标签:

    文章作者:网站制作
    本文地址:http://www.zjqyzx.com/wlxy/698.html
    版权所有 © 转载时必须以链接形式注明作者和原始出处!

    相关阅读