采集是个辛苦活。。

荷兰小事 · 发表于 2011-7-1 22:06:43

写好正则了又要调试。。。。。

调试好了又要换ip。。。。。。

等下又出现content missing之类的错误。。。。。。

搞半天

金关村村长 · 发表于 2011-7-3 18:17:49

哪有那么容易被k

google现在判断是否重复内容使用的听说是simhash算法，采集的时候不要傻傻地完全copy过来就好了，要多篇文章合并成一篇，这样就很可能不会被判断为镜像网页，被k几率很小

大鲨鱼 · 发表于 2011-7-3 09:19:45

被k 时死的更惨

草鸣 · 发表于 2011-7-2 21:15:25

写好采集规则就万事无忧了……

东方星雨 · 发表于 2011-7-2 20:53:23

我用帝国就很爽，没那么复杂，或者火车头。

金关村村长 · 发表于 2011-7-2 16:23:18

原帖由糕手于 2011-7-2 02:40 发表
尼玛的直接开火车就OK了何必去写神马正则搞死人......

火车就更加麻烦了，比curl还要麻烦，而且远没有curl灵活

金关村村长 · 发表于 2011-7-2 16:22:26

原帖由 leaderweb 于 2011-7-2 07:35 发表
楼主采集的啥呀？什么站？

ass。。xxx content -----

leaderweb · 发表于 2011-7-2 07:35:53

楼主采集的啥呀？什么站？

糕手 · 发表于 2011-7-2 02:40:03

提示: 作者被禁止或删除内容自动屏蔽

荷兰小事 · 发表于 2011-7-2 02:25:15

那采集的时候不是要加判断。。加判断会拖慢效率吧。。

		自动登录	找回密码
密码			注册