全球主机交流论坛

标题: nginx巧用map指令批量封禁蜘蛛 [打印本页]

作者: 360安全卫士 时间: 2012-7-20 19:12
标题: nginx巧用map指令批量封禁蜘蛛
本帖最后由 360安全卫士于 2012-7-20 19:13 编辑

许多站长朋友都遇到过这样一些问题，自己网站本来访问量不大，但WWW/HTTPD/NGINX进程一直居高不下，而统计代码里看不到在线数据，这就是典型的被垃圾蜘蛛量采的信号。

对待这类蜘蛛，我们应该如何应对哩？鉴于国内搜索引擎市场混乱，且行业自律自觉性没有一个完整的条约，导致标准不一，并且有些粗糙加工的蜘蛛伤害力极大，针对一个网站，往死里采数据，对此某位牛人指出，国内蜘蛛就保留百度，其它的就算收录再多也带不来什么流量。刚刚整理了下思路，给大家送一份NGINX批量封禁垃圾蜘蛛的范例：

http{

…

map $http_user_agent $ban {

      ~Soso 1; #代码格式：~蜘蛛特征码 1(封)/0(不封)

      ~Sougou 1;

      ~Jikespider 1;

      default 0; #默认不封禁

}

server {

      ….

   location / {

      if ( $ban= 1 ) {

            return 444;# 去死吧

         }

         …..

   }

}

}

我也AD一下，From  http://www2.fen.mu/ui2012/run#blog.html

作者: 小夜 时间: 2012-7-20 19:13

一样，我也是在nginx上用脚本封，soso,yahoo,sogou,那些乱七八糟的，全部301。

作者: 360安全卫士 时间: 2012-7-20 19:15
本帖最后由 360安全卫士于 2012-7-20 19:18 编辑

小夜发表于 2012-7-20 19:13
一样，我也是在nginx上用脚本封，soso,yahoo,sogou,那些乱七八糟的，全部301。 ...

夜肿求摸摸求亲亲求推倒求合体求交往~

听说444更牛逼，跟iptable封禁效果一样没任何数据返回。

作者: 360安全卫士 时间: 2012-7-20 19:17
此脚本为方便管理，可以用include指令加载单独的文件方便后续更新

作者: iking 时间: 2012-7-20 19:32
求详细脚本

作者: 满意沟通 时间: 2012-7-20 19:58
应该加个限制访问非robots.txt的时候在给403

作者: 完美 时间: 2012-7-20 20:01
额
记录。

作者: star826 时间: 2012-7-20 20:03
提示: 作者被禁止或删除内容自动屏蔽

欢迎光临全球主机交流论坛 (https://fd.vvwvv.eu.org/)