Python3 基于asyncio的新闻爬虫思路

Python写爬虫是非常方便的，爬取的目标不同，实现的方式也有很大不同。新闻爬虫的方便之处是，新闻网站几乎没有反爬虫策略，不好的地方是你想要爬取的新闻网站非常非常多。这个时候，效率就是你首要考虑的问题。 同步循环的效率在这里相形见绌，你需要的是异步IO实现一个高效率的爬虫。 Python3.5开始，加入了新的语法，async和await这两个关键字，asyncio也成了标准库，这对于我们写异步IO

>>阅读原文<<