全球主机交流论坛

标题: 我讨厌蜘蛛我讨厌蜘蛛侠 [打印本页]

作者: 大胡子 时间: 2013-3-4 20:31
标题: 我讨厌蜘蛛我讨厌蜘蛛侠
(, 下载次数: 0) (, 下载次数: 0) (, 下载次数: 0)

作者: vagaa 时间: 2013-3-4 20:31
为什么？

作者: 大胡子 时间: 2013-3-4 20:33

vagaa 发表于 2013-3-4 20:31
为什么？

你们是不是指定搜索引擎来爬？

作者: Janjun 时间: 2013-3-4 20:33
在robot.txt里设置屏蔽蜘蛛吧，哈哈哈，不被收录最安心。

作者: lyue5555 时间: 2013-3-4 20:42
做什么坏事？为什么讨厌蜘蛛？

作者: simo 时间: 2013-3-4 20:44
爬蜘蛛不喜欢啊？

作者: 大胡子 时间: 2013-3-4 21:00

simo 发表于 2013-3-4 20:44
爬蜘蛛不喜欢啊？

有时候被爬很讨厌。。谷歌百度搜狗soso还有一些不知名的搜索引擎全部撞在一起爬我哪抗的住

作者: flylight 时间: 2013-3-4 21:03
抗不住蜘蛛爬？

作者: 大胡子 时间: 2013-3-4 21:06

flylight 发表于 2013-3-4 21:03
抗不住蜘蛛爬？

正常爬当然没问题百度联通IP一来封也封不掉就挂了。//

作者: 满意沟通 时间: 2013-3-4 22:15
宜搜这家不按国际规则办事搜狗这家也是

作者: wdlth 时间: 2013-3-4 22:30
Google的高并发蜘蛛才杯具

作者: 恢复自我 时间: 2013-3-4 22:38
很多小的伪装蜘蛛来采集

作者: 大胡子 时间: 2013-3-4 22:39

wdlth 发表于 2013-3-4 22:30
Google的高并发蜘蛛才杯具

用了Sitemap之后是不是一次性爬我更新的所有内容。。。

作者: wdlth 时间: 2013-3-4 22:42

大胡子发表于 2013-3-4 22:39
用了Sitemap之后是不是一次性爬我更新的所有内容。。。

不是一次性，是持续性。而且会自己生成关键字搜索……

作者: 大胡子 时间: 2013-3-4 22:46

wdlth 发表于 2013-3-4 22:42
不是一次性，是持续性。而且会自己生成关键字搜索……

我好像就被这个整苦逼。。。 iptables都不能屏蔽访问 why？

作者: wdlth 时间: 2013-3-4 23:00
本帖最后由 wdlth 于 2013-3-4 23:02 编辑

大胡子发表于 2013-3-4 22:46
我好像就被这个整苦逼。。。 iptables都不能屏蔽访问 why？

robots.txt加
Crawl-delay: 60
Visit-time: 0100-1300
Request-rate: 30/1m 0100 - 0759
Request-rate: 10/1m 0800 - 1300
有点效果

作者: 大胡子 时间: 2013-3-4 23:05

wdlth 发表于 2013-3-4 23:00
robots.txt加
Crawl-delay: 60
Visit-time: 0100-1300

霸气啊

作者: simple 时间: 2013-3-4 23:33
我大爱蜘蛛就怕蜘蛛不来

欢迎光临全球主机交流论坛 (https://fd.vvwvv.eu.org/)