asyncio异步编程，3秒600次请求，提升你的爬虫采集效率

最近深刻探索scrapy框架，发现一个叫twisted的东西，也就是异步编程，进而碰到了asyncio，与结合aiohttp爬虫的采集速度提升了几十倍，甚是欢喜，发布出来与你们一同分享。html import asyncio import re import aiohttp class Crawler: def __init__(self, maxtasks=100):

>>阅读原文<<