requests+asyncio实现异步抓取网页

之前写一个抓取某图片网站的图片的Python脚本，觉得下载了太慢，就考虑使用多线程实现，下面记录下实现思路。 使用的是Python包：requests+asyncio+Beautifulsoop。没有使用scrapy，虽然它确实很强大，但是感觉还是有太多的局限，requests虽然不能像scrapy一样能够自动解析，但是和Beatifulsoop一起使用，功能还是可以的。 这个任务是这样滴： 要抓

>>阅读原文<<