爬虫的干活——scrapy框架学习总结（未完成）

一、scrapy框架基本介绍 在进行数据处理中，数据的获取是一个非常重要的环节。通用爬虫模型虽然能满足日常的数据获取需求，但是在性能、数据流程处理方面，自己再去编写相关的模块费时费力，也为了避免重复造轮子，因此之前就学习了scrapy框架，方便在较短的时间内去实现更快、更强大、更稳定的爬虫。 普通的requests+selenium模块是可以满足绝大多数的爬虫需求了，scrapy框架则可以在此基础

>>阅读原文<<