利用线程池实现异步

目标 掌握线程池的使用 使用多线程重构代码 1 异步任务分析： 1.1. 在引擎中，实现的主要功能如下图 上面的方框中是关于start_urls中的请求处理 下面的方框中是一个请求从调度器取出请求，进行下载之后交给爬虫解析再交给管道的过程 在以上两个过程中，他们之间没有直接的联系，都可以通过异步多线程的方式分别实现，加快程序执行的速度 1.2 那么具体该如何实现该逻辑 multiprocessin

>>阅读原文<<