全球主机交流论坛

标题: 新！电子社开放书库【附大佬们给出的昨日二社爬取方案】 [打印本页]

作者: 初夏科技 时间: 2020-2-2 09:17
标题: 新！电子社开放书库【附大佬们给出的昨日二社爬取方案】

电子工业出版社悦系列知识库产品阅读链接 http://yd.51zhy.cn/

另外，昨日发出的机工社、清华社文泉已经有朋友给出采集方案与脚本
【中间的各种其他方案来自于论坛帖子，有研究需求可以去 https://owndiary.cn/dzgycbs1.html 感谢给出方案的大佬们】

并且在GAYHUB上找到Python方案
附上项目链接：https://github.com/gumblex/wqxt_pdf

作者: yuanhua 时间: 2020-2-2 09:33
pdf下载本地打不开显示损坏，加密了的

作者: ljm1447669873 时间: 2020-2-2 09:43
这贴要火，前排占座

作者: laulzgoay 时间: 2020-2-2 09:46
mark

作者: Init 时间: 2020-2-2 09:55
前排等一个GD连接，忍不住看书了

作者: 剁手大队长 时间: 2020-2-2 10:21
提示: 作者被禁止或删除内容自动屏蔽

作者: 爬墙 时间: 2020-2-2 10:51
等待大佬分享谷歌连接

作者: 蓝瘦香菇 时间: 2020-2-2 10:51
Mark紫薯布丁

作者: sh3dowin 时间: 2020-2-2 11:05
还是微信读书好用。。。

作者: ultramancliub 时间: 2020-2-2 11:17

yuanhua 发表于 2020-2-2 09:33
pdf下载本地打不开显示损坏，加密了的

我这边也是这个问题

作者: uuh 时间: 2020-2-2 12:27
mark

作者: bbsbbs 时间: 2020-2-2 12:28
mark一下，期待大佬放出google drive链接

作者: 万人迷 时间: 2020-2-2 12:34
强大的一群人类

作者: why? 时间: 2020-2-2 12:49
本帖最后由 why? 于 2020-2-2 13:16 编辑

使用方法
安装python3
pip3 install --upgrade setuptools
pip3 install -r requirements.txt
python3 crawl_wqxt.py 书本id

爬的有的慢

国外jj 爬着可能会time out 还是国内按需下载吧

作者: qingseyouran 时间: 2020-2-2 12:52
是不是我使用得不对
运行脚本IndexError: list index out of range
在程序中也不清楚入口在那，是要手动改key？

作者: why? 时间: 2020-2-2 12:55

qingseyouran 发表于 2020-2-2 12:52
是不是我使用得不对
运行脚本IndexError: list index out of range
在程序中也不清楚入口在那，是要手动改k ...

要输入书本id 不是整站爬到

作者: qingseyouran 时间: 2020-2-2 13:30

why? 发表于 2020-2-2 12:55
要输入书本id 不是整站爬到

非常感谢，终于可以了！

作者: lossB 时间: 2020-2-2 13:31
提示: 作者被禁止或删除内容自动屏蔽

作者: ning 时间: 2020-2-2 13:42
MARK&等待大佬放出网盘链接

作者: b66667777 时间: 2020-2-2 13:54

mark jj

作者: jafor 时间: 2020-2-2 14:01
坐等大佬打包

作者: Corei7 时间: 2020-2-2 14:16
mark

作者: ccnet 时间: 2020-2-2 21:50
前排等一个GD连接，忍不住看书了

作者: moowee 时间: 2020-2-2 21:57

why? 发表于 2020-2-2 12:55
要输入书本id 不是整站爬到

为什么我到后面都是not loaded，试了几本书，都是这样呢

作者: whyj77 时间: 2020-2-2 22:09

moowee 发表于 2020-2-2 21:57
为什么我到后面都是not loaded，试了几本书，都是这样呢

被封ip了

作者: Pursuit 时间: 2020-2-2 22:55
前排等一个GD连接，忍不住看书了

作者: 809509941 时间: 2020-2-2 23:04
坐等分享。萌新只能等大佬分享

欢迎光临全球主机交流论坛 (https://fd.vvwvv.eu.org/)