aiohttp实现高并发爬虫(aiohttp+aiomysql)

asyncio+aiohttp(实现异步请求)爬虫，去重（在爬取的过程当中有些url已经爬取了，就不须要再爬取）， 入库（使用异步的方式，pymysql已经不适用了，aiomysql）html # asyncio爬虫，去重（在爬取的过程当中有些url已经爬取了，就不须要再爬取， 入库（使用异步的方式，pymysql已经不适用了，aiomysql） import asyncio import re

>>阅读原文<<