大数据之路读书笔记

总述

• 人类正从IT时代走向DT时代

1、数据采集层
数据从生产业务端到大数据系统的传输

2、数据计算层
离线计算平台和实时计算平台

• 数据整合和管理体系
• 作用：构建统一、规范、可共享的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性。
  构建数据公共层，帮助相似大数据项目快速落地。
• 数据加工链路——分层理念

3、数据服务层
数据消费，通过API提供数据服务
集团用户识别，用户画像等复杂数据查询服务，实时数据推送服务

4、数据应用层 通过应用提供给用户，让数据发挥价值