全球主机交流论坛

标题: 刚那个通用爬虫有感 [打印本页]

作者: mengdodo 时间: 2022-5-24 09:47
标题: 刚那个通用爬虫有感
如果MJJ一起参与到爬虫会怎么样，百度不作为，MJJ一起参与然后超越呢？
利用大家手里的机器一起动起来，用k8s做集群，数据分摊到每台JJ上，然后开放接口给大家，按照贡献度分配调用频次会怎么样，想想都激动哦～

作者: mengdodo 时间: 2022-5-24 09:48
很刑很可铐吗

作者: DaShi 时间: 2022-5-24 09:53
做的再好也没人用啊

作者: jshkk 时间: 2022-5-24 09:57
激动归激动，你别射了就好

作者: xuanruo0710 时间: 2022-5-24 10:06
用歪了谁负责？出机器的人背锅？

作者: Sage 时间: 2022-5-24 10:16
这种规模需要有个专门的团队维护的

作者: minota 时间: 2022-5-24 10:18
搜索引擎的难点在于爬虫吗？根本不是，在于如何把用户想要的信息呈现给他，在于内容结构的存储管理、如何对输入做分词、如何索引到最相关的信息，爬虫只是最简单的第一步罢了

作者: 钱多多 时间: 2022-5-24 10:19
爬虫爬得欢，监狱要坐穿；数据玩的溜，牢饭吃个够

作者: bios12567496 时间: 2022-5-24 11:31
k8s不会啊

作者: 委员 时间: 2022-5-24 11:36
提示: 作者被禁止或删除内容自动屏蔽

欢迎光临全球主机交流论坛 (https://fd.vvwvv.eu.org/)