手写分布式爬虫框架

目录 分布式爬虫框架 Demo 起因 弊端 目标 用最简单的代码实现一个爬虫 建立爬虫模型（接口） 使用 集群，异构 需要改动的点 分布式 后语 分布式爬虫框架 Demo 记录用Java开发一个简单的分布式爬虫框架，从最开始的十几行代码到开发一个支持集群、分布式的爬虫框架。 代码地址：单机版本 分布式版本 起因 在训练智能问答机器人的模型时，缺少模型数据，决定使用爬虫进行。 当前每天的生活如下：

>>阅读原文<<