爬虫还是开源的，反正我不信。

开源爬虫 > DataparkSearch是一个在GNU GPL许可下发布的爬虫搜索引擎。 > GNU Wget是一个在GPL许可下，使用C语言编写的命令行式的爬虫。它主要用于网络服务器和FTP服务器的镜像。 > Heritrix是一个互联网档案馆级的爬虫，设计的目标为对大型网络的大部分内容的定期存档快照，是使用java编写的。 > Ht://Dig在它和索引引擎中包括了一个网页爬虫。 > HTT

>>阅读原文<<