最近服务器频繁死机,检查日志发现是YisouSpider抓取页面导致的,这个爬虫会同时用多个进程请求页面,单核的服务器瞬间就不行了,在网上发现吐槽YisouSpider的有很多,建议直接把它屏蔽。

 

YisouSpider IP地址列表(我从日志里收集的):

另外附上其它无用爬虫的代理名称: