Scrapy框架流程图详解

（一）、Scrapy框架介绍： 我们写一个爬虫，需要做很多事情，比如：发送网络请求、数据解析、数据存储、反爬虫、反反爬虫（更换ip代理、设置请求头等）、异步请求等。这些事情在我们每一次写爬虫代码的时候都要自己从零开始写的话，比较浪费时间。因此 Scrapy 把一些基础的东西封装好了，在它上面写爬虫可以变的更加高效。 （二）、Scrapy架构图及各个组件： 流程图（1）： 流程图（2）： Scrap

>>阅读原文<<