Python爬虫学习笔记 asyncio+aiohttp 异步爬虫原理和解析

爬虫是 IO 密集型任务，好比若是咱们使用 requests 库来爬取某个站点的话，发出一个请求以后，程序必需要等待网站返回响应以后才能接着运行，而在等待响应的过程当中，整个爬虫程序是一直在等待的，实际上没有作任何的事情。html 1. 基本概念 阻塞 阻塞状态指程序未获得所需计算资源时被挂起的状态。程序在等待某个操做完成期间，自身没法继续处理其余的事情，则称该程序在该操做上是阻塞的。 常见的阻塞

>>阅读原文<<