新万博官方网站-首页

十年风雨路 · 一心铸精品

接一个官网 留一件精品 做一个项目 树一块样板

robots.txt写错了吗?为什么百度蜘蛛不断抓取我不想让他抓取的页面。

个人网站是www点drlmeng点com8月份的时候站内被降权,首页权重还在当时判断是因为论坛帖子质量较差导致的,所以屏蔽了百度蜘蛛的抓取,但是被禁止抓取的页面也一直在被蜘蛛爬取。论坛页面当时试过禁止所有的蜘蛛抓取,谷歌很快生效了,但是百度的蜘蛛一直有在抓取,有时候百度

时间:2014年01月21日 点击量:

个人网站是www点drlmeng点com
8月份的时候站内被降权,首页权重还在
当时判断是因为论坛帖子质量较差导致的,所以屏蔽了百度蜘蛛的抓取,但是被禁止抓取的页面也一直在被蜘蛛爬取。

论坛页面当时试过禁止所有的蜘蛛抓取,谷歌很快生效了,但是百度的蜘蛛一直有在抓取,有时候百度搜索找不到论坛的页面,有时候又可以,让我非常抓狂,百度站长工具的索引量在规则设置后数量立刻减少,但又莫名其妙恢复了(看图片的最近几天的索引量,12月30号后我没再修改过robots文件。)


现在规则下,论坛页面也不断在被抓取,动态页面也不断被爬行

 点击浏览下一页

点击浏览下一页

 

我的robots文件

 

写的比较复杂,当时为了屏蔽动态页面的抓取试过简单的写个Disallow: /?,但还是不断的百度蜘蛛抓取,才有了现在这么复杂的robots.txt文件,但是还是不生效,百度蜘蛛一直在抓取,我的网站建站一年多了,一年多以来或多或少都有这个问题存在,尤其是半年多前增加了论坛版块,这个问题更严重。而在这期间,网站日志里完全看不到谷歌蜘蛛抓取我网站动态页面的记录。所以,是百度蜘蛛天生与众不同,还是我的robots.txt写错了?

最后我的问题有三个
1.是为什么百度蜘蛛为什么不断抓取我的动态页面和论坛页面?
2. 我不想百度蜘蛛抓取的动态页面,我应该怎么办?
3. 其他搜索引擎的蜘蛛可以继续抓取我的论坛页面,但百度蜘蛛我不想让他抓取,我应该怎么办?

推荐案例

  • 成都森美啦园林绿化工程公

  • 四川尚恒科技有限公司

  • 成都九邦物流有限责任公司

  • 四川品睿餐饮管理有限公司

  • 美绘陶社陶艺手绘工作室-暖

  • 成都恩多施生物工程技术有

  • 汶川羌人土特产有限公司

  • 印刷设计公司网站No.3138

联系我们 / CONTACT US

  • 四川省成都市金牛区五福桥东路229号龙湖北城天街28栋903室
  • 服务热线:400-000-2367 028-86088588
  • 总机:028-62322623-0
  • 传真:028-62322623-823

扫码访问冠辰手机网站

版权所有 Copyright © 2002-2019 四川冠辰科技开发有限公司  www.scgckj.com 保留所有权利  蜀ICP备11012605号

地址:四川省成都市金牛区五福桥东路229号龙湖北城天街28栋903室

服务热线:400-000-2367 028-86088588 总机:028-62322623-0 传真:028-62322623-823

川公网安备 51010602001006号