轻量级爬虫框架

轻量级爬虫框架 2018-02-12   1【转】设计和实现一款轻量级的爬虫框架 【代码】   调度器(Scheduler)：是队列，保存请求队列和响应队列 下载器(Downloader)：通过请求队列中的请求拉数据，把结果保存到响应队列 爬虫(Spiders):对响应队列中响应通过css（根据不同网站配置）来获取需要的内容和url，需要的内容放到管道，url放到请求队列。 管道(Pipeline

>>阅读原文<<