爬网易云音乐评论数的优化历程

为什么要爬、怎么爬就不说了。 首先 我是第一次写爬虫。 使用的是Python，且没有使用爬虫框架。 仅仅靠requests和beautifulsoup来完成。 作者：轨迹。 方法一：最早使用的方法 爬取过程： 1、模拟请求 2、获取数据 3、入库 重复1-3来完成对一首音乐的评论数的爬取。 过程如图： 该方法的不足之出在于： 每一次的网络IO都要等待本地IO，每一次的本地IO都要等待网络IO 实际

>>阅读原文<<