BaiDuSpider百度蜘蛛占用流量,robots.txt设置

注:以下BaiDuSpider等于百度蜘蛛、Googlebot等于google蜘蛛、Sogou Spider等于搜狗蜘蛛

一、问题

因某些原因,搜索引擎蜘蛛抓取网站占用很大流量,网站访问日志也可看见很多蜘蛛爬行记录。

二、认识、学习

我们知道,搜索引擎都遵守互联网robots协议,可通过robots.txt来进行限制。先对robots.txt一些实例说明,然后根据上面网站情况进行规则设置,通过上面截图可以看出BaiDuSpider占用流量非常大,首先在网站跟目录下面建立一个robots.txt文件。

例1. 禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /

例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)

User-agent: *

Allow:

例3. 禁止某个搜索引擎的访问(禁止BaiDuSpider

User-agent: BaiDuSpider

Disallow: /

例4. 允许某个搜索引擎的访问

  User-agent: Baiduspider

allow:/

例5.禁止二个目录搜索引擎访问

    User-agent: * 

Disallow: /admin/

Disallow: /install/

例6. 仅允许Baiduspider以及Googlebot访问

User-agent: Baiduspider
Allow: /
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /

例7. 禁止百度搜索引擎抓取你网站上的所有图片

User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

三、     问题解决(规则设置)

根据以上实例,经过分析网站日志,主要是百度抓取图片占用了流量,他还有两个目录也不希望搜索引擎抓取,设置规则如下解决:

User-agent: * 
Disallow: /admin/
Disallow: /install/

User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

因为搜索引擎索引数据库的更新需要时间。虽然蜘蛛已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。也就是说设置限制之后日志还会看见蜘蛛爬行,逐渐会降低抓取直到完全生效,这种问题会持续一段时间。如果您需要尽快屏蔽,访问以下帮助中心进行投诉,搜索引擎就会较快处理。

四、     知识加强

为更详细了解蜘蛛爬行原理和robots.txt写法,建议详细阅读以下标准资料:

BaiDuSpider帮助中心    http://www.baidu.com/search/spider.html

Googlebot帮助中心    http://support.google.com/webmasters/bin/answer.py?hl=zh-Hans&answer=182072

Sogou Spider帮助中心  http://www.sogou.com/docs/help/webmasters.htm

Robots.txt 详细介绍:http://baike.baidu.com/view/1280732.htm

baidu提供标准robots.txt写法:http://www.baidu.com/search/robots.html

米粒在线
  • 本文由 发表于 2012年10月31日13:47:41
  • 转载请务必保留本文链接:http://www.miliol.org/758.html
马云惊人言论 引爆金融圈 生活道理

马云惊人言论 引爆金融圈

近日,中国金融四十人论坛(CF40)联合各组委会成员机构在上海召开第二届外滩金融峰会。 马云出席峰会并发表言论,讲演全程金句频出、观点犀利、针砭时弊,在金融圈刷屏。他指出: 1、不必刻意填...
手机防蓝光贴膜到底有用吗?真相在此 生活道理

手机防蓝光贴膜到底有用吗?真相在此

防蓝光、抗蓝光这两组关键词,在手机贴膜的宣传页上总能看到它的身影。蓝光仿佛一夜成为罪人,走到哪里都被人讨伐。 但事实上,我们真的需要防蓝光吗? 蓝光错在哪? 蓝光指的是波长为400到...
iPhone一代十年后再开箱:比X爽多了 百科知道

iPhone一代十年后再开箱:比X爽多了

迟到十年的iPhone初代开箱 十年前,iPhone还是神一样的存在。乔布斯的苹果确实改变了人们的生活方式,也改变了我们撩妹的正确姿势。 当2007年第一款iPhone初代发布的时候,我触...
怎么充电对电池最好?看完终于明白了 百科知道

怎么充电对电池最好?看完终于明白了

在人人都是手机控的时代,相信很多朋友的手机电量都撑不过一天,每天给手机充电几乎成了我们司空见惯的生活习惯,但就是简单的给手机充电,不同的人习惯也不一样。 有的朋友喜欢电量全部耗光了再冲,有的呢,...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

评论:1   其中:访客  1   博主  0
    • 灵璇℃翼 灵璇℃翼 2

      不错,不错。。。学习了。。。