scrapy框架创建爬虫项目

首先，我们需要先了解一下scrapy。 scrapy是什么？是一个非常强大的python爬虫框架，底层语言使用python实现。既然是框架，肯定已经实现了很多其他的功能，用户只需要将自己的精力放到自己的业务逻辑中即可。多进程、多线程、队列、去重 安装：pip install scrapy scrapy的工作原理 引擎（engine）、爬虫（spiders）、调度器（scheduler）、下载

>>阅读原文<<