开源爬虫框架各有什么优缺点

https://blog.csdn.net/CSDN_AF/article/details/70888852 开源爬虫框架各有什么优缺点？ 作者：老夏 开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下： 上面说的爬虫，基本可以分3类： 1.分布式爬虫：Nutch 2.JAVA单机爬虫：Crawler

>>阅读原文<<