Scrapy爬虫框架介绍

scrapy安装：在cmd命令行中执行pip install scrapy 测试安装成功：执行scrapy -h 结构： Engine:控制所有模块之间的数据流，根据条件触发事件（不需要用户修改） Downloader:根据用户请求下载网页（不需要用户修改） Scheduler:对所有爬取请求进行调度管理（不需要用户修改） Downloader Middleware         目的：实施En

>>阅读原文<<