全球主机交流论坛

标题: 禁止bing蜘蛛访问,这样设置robots.txt对不对 [打印本页]

作者: rightnow5 时间: 2012-3-20 10:02
标题: 禁止bing蜘蛛访问,这样设置robots.txt对不对
禁止bing蜘蛛访问,这样设置robots.txt对不对
User-agent: *
Disallow: /admin/
User-agent: MSNbot
Disallow: /

MSN蜘蛛禁止访问所有目录,其他搜索引擎蜘蛛禁止访问admin文件夹

作者: onesz 时间: 2012-3-20 10:04
为什么要禁止bing呢？我都来不及叫蜘蛛来。

作者: rightnow5 时间: 2012-3-20 10:08

onesz 发表于 2012-3-20 10:04
为什么要禁止bing呢？我都来不及叫蜘蛛来。

bing爬100万也不会来几个流量
蜘蛛20几个一直在爬 vps扛不住

作者: loveminds 时间: 2012-3-20 11:59
应该没错

作者: 老包子 时间: 2012-3-20 12:04
正确

作者: 满意沟通 时间: 2012-3-20 15:06
User-agent: bingbot
Disallow: /

再加一个

bing也流氓的 .htaccess再屏蔽一下

作者: walkman660 时间: 2012-3-20 15:11
在线生成robots.txt
http://www.robotstxt.com.cn/

欢迎光临全球主机交流论坛 (https://fd.vvwvv.eu.org/)