HttpWebRequest采集（三）多任务+多线程 web采集

一般情况下在采集时，单个线程的工作速度是相当的慢的。对于大量数据的采集中采集多任务+多线程的方式显得尤其重要。 这里晒下我的一个多任务+多线程的代码类图。   因最近比较忙，代码也刚写一部分，还需完善，就先不发源码出来。  对于有些加了IP限制的网站，我们只有使用代理来对付，所以要先准备N多个快速的HTTP代理了   代理中国上每天都有更新，不过要想找到很快的代理还真不容易。   此结构仅供参考，

>>阅读原文<<