ETL公用模块设计（MongoDB + spark + Python）

--数据库架构师 之路python 场景： 经过ETL流程收集 ，不一样的数据源 数据，并放到ods层里。数据库 技术选型：MongoDB + spark + Python服务器 主要考虑行业的复杂度，还有不一样的数据来源数据（包含 txt，jpg，excel，rmdb）架构 后期分析所须要的开发资源，内存计算，有效的发挥DBA 脚本能力。ssh   设计：总体经过配置中心的 进行任务调度，可能有

>>阅读原文<<