全球主机交流论坛

标题: 抓取動態網頁產生的資料? [打印本页]

作者: ghost 时间: 2019-4-26 14:44
标题: 抓取動態網頁產生的資料?
我想抓一個網頁上會變動的數字,
但是因為它是 node.js 產生,所以我 curl/wget 只能抓到 html、css 這些標籤,

"<span class="details">{{'@'}}{{ number }}</span>"

我要怎樣可以抓到頁面上那個 number 所帶進的數字?

作者: Mr. 时间: 2019-4-26 14:46
直接抓它 ajax 的接口啊，数据哪来的、从哪里套上去的，直接抓那个数据

作者: alfonse 时间: 2019-4-26 14:48
1、一般这种是通过异步请求获取数据，分析接口直接抓取接口
2、通过无头浏览器模拟抓取元素

作者: ghost 时间: 2019-4-26 15:12
本帖最后由 ghost 于 2019-4-26 15:14 编辑

因為是要抓公開網頁上的資料,所以沒有它的 api,
所以想用指令或程式去處理,像爬蟲,但只是要爬頁面裡的一個 span class 裡的動態數字而已...

作者: 似毛非毛 时间: 2019-4-26 15:14
动态网页。最终也是静态显示的。你给个地址。别人看一下就知道怎么回答你了

作者: ghost 时间: 2019-4-26 15:17
本帖最后由 ghost 于 2019-4-26 15:18 编辑

https://ethstats.net/
我要抓左上角那個 block 裡 7 開頭的數字.

作者: ronon 时间: 2019-4-26 15:22
websocket

作者: 似毛非毛 时间: 2019-4-26 15:29
这类页面我还是第一次见。。。孤陋寡闻了。。

作者: miniliuke 时间: 2019-4-26 15:32
Selenium或PhantomJS

作者: 似毛非毛 时间: 2019-4-26 15:40

ronon 发表于 2019-4-26 15:22
websocket

膜拜大佬。。。这个页面好就是websocket通信的

作者: flyqie 时间: 2019-4-26 15:42
wss://ethstats.net/primus/
是用websocket推送数据的

作者: ghost 时间: 2019-4-26 17:17
我試了一個可以連 websocket 的工具,發現 server 端會一直送資料過來,連線根本不會斷.
但我只是要抓第一行的資料..
我想我只好再找別的有提供同樣資料的網頁試好了...

作者: 似毛非毛 时间: 2019-4-26 18:14
网页接受的就是那些不断地数据吧。然后js处理。再显示出来，。我看接受的数据有number一项。。你要的可能是要收集然后统计出来的。。

作者: ghost 时间: 2019-4-30 14:01
後來用 websocket 取得特定欄位資料與透過一般網頁擷取資料兩種方式都試出來了.
websocket 是透過 jq 去抓指定的 json 資料欄位,然後再切斷連線.
不過試了以後,用 websocket + jq 取資料要超過 0.5 秒,有時甚至超過 1 秒,
抓取另一個網頁上的指定字串只要 0.2 秒以內.
所以就不用 websocket 的連線取得資料了

欢迎光临全球主机交流论坛 (https://fd.vvwvv.eu.org/)