python爬虫：Scrapy框架架构

Scrapy框架架构 Scrapy框架介绍： 写一个爬虫，须要作不少的事情。好比：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工做若是每次都要本身从零开始写的话，比较浪费时间。所以Scrapy把一些基础的东西封装好了，在他上面写爬虫能够变的更加的高效（爬取效率和开发效率）。所以真正在公司里，一些上了量的爬虫，都是使用Scrapy框架来解决。html

>>阅读原文<<