对于反爬虫的一些思考

1.反爬虫宗旨 爬虫与反爬虫是一个循环往复、互相博弈的过程，并没有一种一劳永逸的办法杜绝所有爬虫的爬取（更何况搜索引擎也算是爬虫的一种）。在应用反爬虫的过程中，只能做到尽可能的识别爬虫，尽可能的提高爬虫爬取的成本。 对于某些个人的爬虫来说，如果爬取网站的成本太大（如需多台“肉鸡”、需过长的时间识别反爬虫策略或破解验证码等），个人爬虫可能大部分都会考虑放弃，毕竟个人资源时间有限。而对于一些商业组织来

>>阅读原文<<