关于分布式爬虫思考

爬虫无非两样东西 网站的破解 爬取的效率 由于我很懒，爬虫就随便写写怼上服务器上跑就行了，从来不考虑效率的问题，所以用到分布式的情况很少。不过也有用到的时候，之前爬个youtube，除了爬取视频信息又要下载视频又要上传视频，还要下载缩略图上传缩略图。如果只用一个爬虫去做的话，其实也没什么，就是会失业而已。然后我就开始尝试去做分布式。我从网上看到的大部分分布式教程，都是用redis来储存任务队列，然

>>阅读原文<<