手把手教你实现window图片爬虫(三)

第三篇:性能优化及踩坑   优化工作     1.采用基于线程池管理的定时任务ScheduledThreadPoolExecutor     2.所有的异步操作统一走线程池管理     3.监控信息查询优化(降低复杂度)     4.增加失败重试机制     5.网页抓取以及图片下载多线程异步进行,并严格控制并发数量(界面配置爬取速度)     6.选择速度最快的jackson序列化以及反序列化
相关文章
相关标签/搜索