开发一款开源爬虫框架系列（四）：设计fetcher

这一期咱们来聊聊怎么设计fetcher，既然说到设计，咱们首先要明确设计的目的。fetcher的主要功能是根据传入的url获取网页内容，同时咱们还面临以下一些问题：java 一、使用什么工具发出http请求下载网页？编程 【答】使用最新的httpclienttomcat 二、怎么提升下载的性能？网络 【答】由于性能消耗主要在网络IO，那么咱们要提升下载的性能能够使用线程池多线程并发下载网页，同时为

>>阅读原文<<