nginx巧用map指令批量封禁蜘蛛

360安全卫士

许多站长朋友都遇到过这样一些问题，自己网站本来访问量不大，但WWW/HTTPD/NGINX进程一直居高不下，而统计代码里看不到在线数据，这就是典型的被垃圾蜘蛛量采的信号。

对待这类蜘蛛，我们应该如何应对哩？鉴于国内搜索引擎市场混乱，且行业自律自觉性没有一个完整的条约，导致标准不一，并且有些粗糙加工的蜘蛛伤害力极大，针对一个网站，往死里采数据，对此某位牛人指出，国内蜘蛛就保留百度，其它的就算收录再多也带不来什么流量。刚刚整理了下思路，给大家送一份NGINX批量封禁垃圾蜘蛛的范例：

http{

…

   map $http_user_agent $ban {

        ~Soso 1; #代码格式：~蜘蛛特征码 1(封)/0(不封)

        ~Sougou 1;

        ~Jikespider 1;

        default 0; #默认不封禁

   }

   server {

         ….

       location / {

          if ( $ban= 1 ) {

                return 444;# 去死吧

           }

             …..

       }

    }

}

我也AD一下，From  http://www2.fen.mu/ui2012/run#blog.html

小夜

一样，我也是在nginx上用脚本封，soso,yahoo,sogou,那些乱七八糟的，全部301。

360安全卫士

小夜 发表于 2012-7-20 19:13
一样，我也是在nginx上用脚本封，soso,yahoo,sogou,那些乱七八糟的，全部301。 ...

夜肿求摸摸求亲亲求推倒求合体求交往~

听说444更牛逼，跟iptable封禁效果一样没任何数据返回。

360安全卫士

此脚本为方便管理，可以用include指令加载单独的文件方便后续更新

iking

求详细脚本

满意沟通

应该加个限制 访问非robots.txt的时候在给403

完美

额
记录。