开源爬虫框架各有什么优缺点

开源爬虫框架各有什么优缺点？ 做者：老夏javascript 开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector仍是其余的？这里按照个人经验随便扯淡一下：php 上面说的爬虫，基本能够分3类： 1.分布式爬虫：Nutch 2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector 3. 非JAVA单机爬虫：scra

>>阅读原文<<