浏览模式: 普通 | 列表
10月, 2014 | 1

Nginx通过判断User Agent过滤YisouSpider

[ 2014-10-14 20:13:08 | 作者: admin ]
http://www.slyar.com/blog/nginx-user-agent-yisouspider.html

这几天在写博客的时候经常出现服务器宕机，网页全部刷不出来，但是Ping服务器的时候又能Ping通。登录SSH看了下top，惊呆了，平均负载13 12 8。瞬间觉得我这是被人DOS了么？看了下进程基本上都是php-fpm把CPU给占了，去看下日志吧。。。

attachments/201410/14_201353_20140218_134447.png

一看不得了，基本上都是被一个User Agent叫"YisouSpider"的东西给刷屏了，一看就不知道是哪的蜘蛛，太没节操了，这到底是开了多少线程在爬啊。。。查一下IP吧


阿里巴巴你让我说你什么好呢，网上搜了一下这是阿里旗下一个叫"一搜视频"的网站发出的蜘蛛。你说一个视频网站每天爬我的博客几十万次是要闹哪样。。。
...

阅读全文…
分类: centos/linux | 永久链接 | 评论: 0 | 引用: 0 | 浏览: 1481
1