golang ----------- 并发版爬虫实现二

一、要解决的问题：html 1）、把request直接发给worker会卡住，以下架构图。网络 2）也不想每一个request都开一个goroutine,控制力比较小，以下架构图。同时但愿对worker加以控制。架构 二、解决上面问题：app 把request和worker都放到相应队列，把咱们选择的request发给咱们选择的worker。以下架构图fetch 三、代码实现：url 发送请求：s

>>阅读原文<<