nutch集群，威力很大，哈哈！！

今天用公司的服务器测试了一把nutch集群很好很强大！ 之前也测试过，估计和网络的带宽有关系吧，效果不是很好，今天测试了一下，确实比单机的速度要快很多！ 我测试的是用3台虚拟机 每台是8核心cpu 一个6g内存2个4g内存 然后爬的网址是180个，深度4层，开启线程200，完成时间是2个多小时，而且资源占用率也就达到20%   之前用8核心6g内存单机爬取 180个网址，深度4层 开启线程50个，

>>阅读原文<<