scrapy爬虫框架

scrapy是什么？是一个非常强大的python爬虫框架，底层语言使用python实现。既然是框架，肯定已经实现了很多其他的功能，用户只需要将自己的精力放到自己的业务逻辑中即可。多进程、多线程、队列、去重 安装：pip install scrapy scrapy的工作原理 引擎（engine）、爬虫（spiders）、调度器（scheduler）、下载器（downloader）、管道（pipeli

>>阅读原文<<