爬虫开发知识入门基础（4）

爬虫加速 当爬取的数据量非常大时，如何高效快速地进行数据抓取是关键。 常见的措施有多线程、多进程、异步、分布式、细节优化等。 爬虫加速 / 多线程、多进程 爬虫是网络请求密集型任务，所以使用多进程和多线程可以大大提高抓取效率，如使用 threading、multiprocessing 等。 爬虫加速 / 异步 将爬取过程改成非阻塞形式，当有响应式再进行处理，否则在等待时间内可以运行其他任务，如使用

>>阅读原文<<