一个简单的分布式爬虫

目标 获取所有A股最近300个交易日的日K数据。 思路 通过一台 redis 数据库创建一个任务队列，存放所有的 A股股票代码，所有的爬虫共享这个队列。 爬虫程序循环不断地从队列中拿到股票代码，然后模拟请求，从东方财富网获取最近300个交易的数据,解析后，存入mysql数据库。 实现 整个程序分为两部分，RedisServer 负责从上交所、深交所获取所有的 A股股票代码，然后放入redis中的

>>阅读原文<<