一个数据架构师作什么?只是设计表?那是我能第一时间想的。但事实证实,这并非。数据架构师的主要职责是:
数据建模与分析(45%)
数据加载和交付(25%)
数据可用性,性能,安全性保证(15%)
数据质量与治理(10%)
其余(5%)数据库
1. 数据建模与分析安全
了解数据(Understand the data)
在组织机构中理解数据是最重要的职责。若是他在证券机构工做,他须要了解什么是收益率等专业名词。一个不能真正理解数据意义的架构师是没法创造出完整实用的功能。服务器
数据建模(Data modelling)
它不仅是设计数据库表。也包含着对XML文件和架构(XSD),OLAP多维数据集,接口文件格式定义等。不仅是表的设计还要包含着索引、日志、分区、数据库和数据服务器、触发器,审计等等。物理数据模型和逻辑数据模型。虽然咱们会常常忽略数据库的物理组成,把这部分工做交给DBA。架构
数据分析(Data Analysis)框架
咱们常常会把数据分析的工做交给专门的数据分析师。咱们一向认为本身的工做是设计数据模型,业务分析不是个人工做内容。这是个错误的观点。做为一个数据架构师要知道全部的事情。能够帮助咱们更好的设计数据架构。工具
2. 数据加载性能
数据是不可以本身按照咱们的要求跑到咱们数据库中,而是须要通过一个复杂的过程一步一步的更新/插入到咱们的数据仓库中。咱们的须要理解整个数据加载的详细细节。理解整个加载程序架构,他们中间每一步具体作了什么。若是用了调度工具好比Autosys, 要理解它的工做原理。怎么去建立一个条件预警,一个循环,如何检测加载时间等等。固然其中的不少任务是由产品支持团队(Production Support)在作, 可是设计整个加载的流程/框架是数据架构师的职责。设计
若是一个数据架构师,只知道数据模型而不了解数据加载的过程,那么他跟盲人没什么区别。何时经过什么样的方式将数据加载到数据库中,对那些数据会产生明显的变化。日志
*************************************索引
(未完待续)。。。。