全球主机交流论坛

标题: robots.txt对百度无效了吗 [打印本页]

作者: guoaibing 时间: 2020-1-2 11:58
标题: robots.txt对百度无效了吗
前几天开始疯狂收录禁止的内容

然后在meta标签也加上了屏蔽，感觉有点用了

md，刚刚发现又开始收录了，大佬们有这情况吗？

作者: edgeNAT 时间: 2020-1-2 12:07
robots本来就只是个公约性质的东西，掰不断蜘蛛的腿

作者: 移动 时间: 2020-1-2 12:08
提示: 作者被禁止或删除内容自动屏蔽

作者: 不念 时间: 2020-1-2 12:08
提示: 作者被禁止或删除内容自动屏蔽

作者: hehe 时间: 2020-1-2 12:08
提示: 作者被禁止或删除内容自动屏蔽

作者: edgeNAT 时间: 2020-1-2 12:09
给蜘蛛搞进死循环应该有用

作者: guoaibing 时间: 2020-1-2 12:19

hehe 发表于 2020-1-2 12:08
Nginx

多谢大佬指点准备直接404了

作者: guoaibing 时间: 2020-1-2 12:22

不念发表于 2020-1-2 12:08
有用的，不过需要1-2个月见效。
并且还有很多打着百度ua旗号的采集程序，对这个就没有用了 ...

robots.txt一直是禁止的就前几天开始破防收录、而且还有排名

已经给它返回404了。。。

作者: 爱吃醋的醋醋 时间: 2020-1-2 12:37
提示: 作者被禁止或删除内容自动屏蔽

作者: gougou6423 时间: 2020-1-2 12:38
ua有百度的不一定是蜘蛛，还可能是别人的爬虫

作者: 围观者 时间: 2020-1-2 13:07
暂时还没发现不遵守robots的搜索引擎

只是它们的反应时间不一致，有的长达三个月

作者: songkqx1c 时间: 2020-1-2 13:41
对于小站来说一直都没用的。

作者: 悟雨 时间: 2020-1-2 14:22

不念发表于 2020-1-2 12:08
有用的，不过需要1-2个月见效。
并且还有很多打着百度ua旗号的采集程序，对这个就没有用了 ...

扫描的也会伪装成百度的蜘蛛

作者: 黑壳虾 时间: 2020-1-2 17:25
Nginx直接Ban，再加iptables封ip段

欢迎光临全球主机交流论坛 (https://fd.vvwvv.eu.org/)