开源爬虫框架各有什么优缺点？

做者：老夏 开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector仍是其余的？这里按照个人经验随便扯淡一下：上面说的爬虫，基本能够分3类：1.分布式爬虫：Nutch 2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollectorjavascript 3. 非JAVA单机爬虫：scrapyphp Python 爬虫的工具列表

>>阅读原文<<