网易云自动化爬虫方案，24小时爬取10万首音乐信息，30万条用户信息，100万个热评

高效自动化网易云爬虫系统，自动寻找未爬取的歌曲、用户进行数据爬取并没有限循环，理论上只要时间够就能爬取几乎全部网易云的歌曲和用户信息。笔者用大约24小时的时间就获取了如题的战果。html 先展现一下成果： music.csv存储每首歌的歌曲id、歌名、歌手、专辑、专辑图片url和评论数量信息，部分截图： comment.csv存储每首歌的热评，包括评论所属歌曲id、评论用户id、评论获赞数、评论内

>>阅读原文<<