最近服务器频繁死机,检查日志发现是YisouSpider抓取页面导致的,这个爬虫会同时用多个进程请求页面,单核的服务器瞬间就不行了,在网上发现吐槽YisouSpider的有很多,建议直接把它屏蔽。
YisouSpider IP地址列表(我从日志里收集的):
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
42.156.136.109 42.156.136.21 106.11.156.53 42.156.136.21 106.11.154.114 106.11.153.78 42.156.136.4 106.11.153.51 106.11.154.57 42.120.161.6 106.11.152.65 106.11.154.110 106.11.154.56 106.11.154.44 106.11.153.42 106.11.153.34 42.156.136.21 42.156.136.23 |
另外附上其它无用爬虫的代理名称:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
FeedDemon BOT/0.1 CrawlDaddy Java Jullo Feedly UniversalFeedParser ApacheBench Swiftbot YandexBot AhrefsBot YisouSpider MJ12bot ZmEu phpmyadmin WinHttp EasouSpider HttpClient Microsoft URL Control YYSpider jaunty oBot Python-urllib Indy Library FlightDeckReports Bot Linguee Bot |
文章评论 暂无评论
暂无评论