Java网络爬虫（十四）--多线程爬虫（抓取淘宝商品详情页URL）

源码地址：多线程爬虫–抓取淘宝商品详情页URLhtml 项目地址中包含了一份README，所以对于项目的介绍省去部份内容。这篇博客，主要讲述项目的构建思路以及实现细节。java 项目概述及成果 首先将本项目使用到技术罗列出来：git MySQL数据库进行数据持久化及对宕机状况的发生作简单的处理 Redis数据库作IP代理池及部分已抓取任务的缓存 自制IP代理池 使用多线程执行任务（同步块，读写锁，

>>阅读原文<<