如何准确判断请求是搜索引擎爬虫（蜘蛛）发出的请求？

转载地址：http://www.cnblogs.com/yukaizhao/p/python-test-ip-is-searchengine-spider.html html 网站常常会被各类爬虫光顾，有的是搜索引擎爬虫，有的不是，一般状况下这些爬虫都有UserAgent，而咱们知道UserAgent是能够假装的，UserAgent的本质是Http请求头中的一个选项设置，经过编程的方式能够给请求设

>>阅读原文<<