全球主机交流论坛

标题: 学到了，通过User-Agent禁止机器人并返回炸弹 [打印本页]

作者: hjvn2211445 时间: 2021-4-13 19:22
标题: 学到了，通过User-Agent禁止机器人并返回炸弹
本帖最后由 hjvn2211445 于 2021-4-14 12:45 编辑

以前只知道直接禁了垃圾bot

今天看caddy发现有个http.nobots
nobots保护你的网站免受网络爬虫和机器人。

可以直接给特定UA返回一个炸弹。~~还可以用到其他防爬虫的地方，直接给它返回大文件，啥404/403不香了~~

1G炸弹压缩一次就剩1M，~~他请求就会解压成1G~~
压两次就3k

理解错了，是不会炸开的，请求还是1M，但是数据量是1G，
大概专门对付蜘蛛，蜘蛛爬完要去读就会读到1G 000000000数据的意思吧，应该很容易就被过滤了吧

我做了一下大概这样，
生成了一个网页a.html（25M的）
for i in {1..1000000};do echo "这谁顶得住啊x$i" >> a.html;done

gzip a.html得到 a.html.gz的文件2.7M

设置UA包含b(B)ot 或 Mobile 就返回这个
手机访问一次网页大小2.7M。但包含25M的数据量，蜘蛛会分析页面，这样看是恶心一下蜘蛛和消耗一下读取文件的所需的内存
不知道有没其他骚应用（或者可以搞点啥js 无限循环崩溃,跳转大文件，或者啥请求过快返回这个那样的）

http://45.62.238.160:30001/

如何制造炸弹
插件中未提供炸弹，因此您必须创建一个炸弹。在Linux中，这确实很容易，您可以使用以下命令。

dd if=/dev/zero bs=1M count=1024 | gzip > 1G.gzip
dd if=/dev/zero bs=1M count=10240 | gzip > 10G.gzip
dd if=/dev/zero bs=1M count=1048576 | gzip > 1T.gzip
为了优化最终炸弹，您可以压缩零件几次：

cat 10G.gzip | gzip > 10G.gzipx2
cat 1T.gzip | gzip | gzip | gzip > 1T.gzipx4
注意：扩展名.gzipx2或.gzipx4只是突出显示文件被压缩了多少次。

作者: mika. 时间: 2021-4-13 19:23
这个操作好骚啊

作者: loukky 时间: 2021-4-13 19:24
我靠你好狠…

作者: 所長 时间: 2021-4-13 19:24
mark一下

作者: 百度网盘 时间: 2021-4-13 19:25
这个厉害，学习一下

作者: Galileo 时间: 2021-4-13 19:27
先马克，以后用得上

作者: Chriss 时间: 2021-4-13 19:28
这也太狠了。

作者: z6045670 时间: 2021-4-13 19:28
你太坏了我得防范点

作者: lspro 时间: 2021-4-13 19:29
学习学习

作者: envoy 时间: 2021-4-13 19:33

z6045670 发表于 2021-4-13 19:28
你太坏了我得防范点

你头像太坏了，我得问你车牌

作者: z6045670 时间: 2021-4-13 19:47

envoy 发表于 2021-4-13 19:33
你头像太坏了，我得问你车牌

手感不错哈

作者: h20 时间: 2021-4-13 19:50
提示: 作者被禁止或删除内容自动屏蔽

作者: JtrD 时间: 2021-4-13 19:50

学习了,NGINX这个要怎么玩呢?

作者: 燕十三丶 时间: 2021-4-13 19:50
牛逼啊这操作绝了

作者: htazq 时间: 2021-4-13 19:54
学到了学到了，收藏了

作者: zhou0911 时间: 2021-4-13 19:56
nb，就想知道爬虫爬到这个大文件会怎么样？

作者: h20 时间: 2021-4-13 20:00
提示: 作者被禁止或删除内容自动屏蔽

作者: sss 时间: 2021-4-13 20:01
这是要干倒机器人

作者: wwbfred 时间: 2021-4-13 20:02
思路吊炸天。
不过都这么搞早晚爬虫变成随机UA……

作者: swsh007 时间: 2021-4-13 20:05
真大佬
这种高科技有点意思

作者: xuliliang 时间: 2021-4-13 20:24
爬虫换成小带宽，N秒之后连接未结束自动断开就随便破了

作者: 药丸 时间: 2021-4-13 20:30
mark

作者: 朕的大清完了？ 时间: 2021-4-13 20:31
提示: 作者被禁止或删除内容自动屏蔽

作者: sora 时间: 2021-4-13 20:38
这个可以, 学到了.

作者: ning 时间: 2021-4-13 20:40
有空试试

作者: 纳米科技 时间: 2021-4-13 20:59
mark一下

作者: 88170351 时间: 2021-4-13 21:01
够狠

作者: flyqie 时间: 2021-4-13 21:12
这年头爬虫都随机UA了吧。。。。

作者: aRNoLD 时间: 2021-4-13 21:19

Galileo 发表于 2021-4-13 19:27
先马克，以后用得上

同样都是一对胸，前者就搞得技术人物出手写了个屏蔽规则，而Galileo就让人觉得这是一种美好，甚至连那只手都纤纤玉腕的感觉。

作者: sety 时间: 2021-4-14 01:03
牛逼

作者: chancat 时间: 2021-4-14 01:53
这怎么用啊啊

作者: 嗷嗷 时间: 2021-4-14 02:18

JtrD 发表于 2021-4-13 19:50
学习了,NGINX这个要怎么玩呢?

Look my blog

作者: Galileo 时间: 2021-4-14 05:56

aRNoLD 发表于 2021-4-13 21:19
同样都是一对胸，前者就搞得技术人物出手写了个屏蔽规则，而Galileo就让人觉得这是一种美好，甚至连那只 ...

谢谢老板的夸赞

作者: deyu 时间: 2021-4-14 08:11
Make

作者: mslxd 时间: 2021-4-14 08:40
骚操作。。。。。

欢迎光临全球主机交流论坛 (https://fd.vvwvv.eu.org/)