Python爬虫面试常见问题

先收藏一下，有空再整理答案html 爬虫面试常见问题python 1、项目问题：linux 1.你写爬虫的时候都遇到过什么反爬虫措施，你是怎样解决的git 2.用的什么框架。为何选择这个框架web 2、框架问题：面试 1.scrapy的基本结构（五个部分都是什么，请求发出去的整个流程）redis 2.scrapy的去重原理（指纹去重究竟是什么原理）算法 3.scrapy中间件有几种类，你用过哪些中

>>阅读原文<<