大数据项目内容纪要（持续更新中）

摘要

做为一个本科主修统计学的学渣，毕业时为了图一时安逸，选择了入职本省的某制造业企业。本觉得在这根本没我半点容身之处，却意外遇上了公司的大数据项目。转眼参加项目开发及后期运维有10个月了，本帖就是回顾一下我在项目中接触到的方方面面，整理成文，加深本身对这个项目的认识。

项目架构

本次项目是由乙方公司进行实施，借鉴他们以前的成熟的架构，搭建咱们本身的大数据平台。目前就我接触到的东西罗列一下：

1、开发工具

• 报表工具：永洪
• ETL工具：kettle
• 数据仓库：Hive、Impala
• 代码版本控制：SVN

2、平台组件

• 调度平台
• 补录平台
• 用户权限管理平台
• 数据质量平台
• 元数据管理平台

3、平台组件图示