Python爬虫期末复习

题型 选择题 填空题 简答题 代码阅读理解题 代码书写题html 复习要点 一个爬虫程序的结构： 一、 调度模块（Scheduler）：安排发起网络请求的策略 二、 网络模块（network）：发起网络请求，并接受服务器返回 三、 爬虫模块（Spider）：解析、爬取数据 四、 Item模块：定义爬取的数据项 五、 Piplines模块：对已经爬取的数据作后续处理（存入数据库、存入文件系统、传递给

>>阅读原文<<