用python进行分布式网页数据抓取（一）——设计

这几天做一个小项目，分给我的模块是对于BOKECC体系网站的抓取。 从来没有用过python，这次来尝一下鲜，感觉还行~ BOKECC就是一个视频网站的解决方案，我的任务很简单，就是给定一个网址，我来抓取对应页面上的数据内容。 整个系统采用分布式架构，我来负责做爬虫节点。 简单来说就是整个系统可分布式部署，每个节点接收来自控制者的远程调用，独立完成任务，并向上级汇报完成情况。 这里采用暴露WebS

>>阅读原文<<