鬼话连篇数据中台（一）：透过中台看数据中台

关于数据中台的一场对话

场景一：

发生在上周周末，与一个公司的老板对话：

开门见山的提了一个问题：“想问一个问题， 我想搞一个数据中台。”我惊了一下问到：“啥？搞数据中台？没烧坏吧？”

“那想搞这个这个数据中台的目的是啥？是要支撑业务，仍是在融资上搞啥？”

“如今这个中台很火啊，咱们也想搞一下。搞个数据中台、再搞个运营中台，将来面向 xxx 这个群体，就是一个 SaaS。”

“你真有钱，其它中台很差说，可是数据中台我认为就公司目前的这个业务状况，还在初级阶段，业务一直在快速奔跑，组织结构还没成为业务发展的瓶颈。

另外从中台的难度上来说，在产品、架构规划等方面强调的是服务、组件化、业务抽象等方面，其自然的起点已经比普通业务形态与产品有数量级的差别。

业务的快速频繁变化，如何让中台来作沉淀？小心中台的不完善拖累业务，搬不动这块铁，把本身砸晕了。

我的建议，抛开全部概念，就围绕本身的要解决问题，解析出适合本身的商业模型到分析模型，在 围绕分析模型来看如何作埋点与数据拼图，用数仓的方式，数据平台的实施来支撑好本身。”

老板：“那你帮我出一个方案吧。”

“我 #￥%……&*（）——”

场景二：

发生在一个数据群，一个同窗问到 ：“什么是中台，什么是数据中台呢，我看的一脸懵逼。”

“咱们公司要招中台产品经理了，都是来干吗呢？”

“我看了不少材料，仍是没懂啥叫中台，最近有个公司出了一本数据中台的书，买来再看看。”

而后呢，再过几天，在不一样的群不一样的场合，相似的不少关于数据中台的对话将继续神话般“狗对”着。

中台的建设是一个复杂的系统工程，正如某大神说的“中台的建设要想比较成熟且有体系的策略至少要三年以上时间，是要分阶段去实施的”，中台的实施在现阶段只能是摸索、实践，由于你们对中台的理解是根据所处的当下环境与状态而进行思考的。

如今中台的实施将会在作事的方式、思惟的高度、系统框架方面有所改变，可是实际上不少打着中台这个词，在按照技术组件、技术产品或一个技术平台的的方式在实施，只是被成为了中台。

总结本身 2019 年半年职业生涯，中旬离开一家“大航母”后，这半年也是在跟中台打交道，而且到如今也是在尝试去推进一个数据中台化，其中遇到了各类有意思的问题，期间花了漫长时间来盘点问题并尝试寻找一种适合的演进方案。那我能在这里作点什么呢？

交流了些中台的实施，通常一上来就喊中台化的基本入不敷出，不是人员投入问题、就是实施方向以及定位究竟是什么， 可是有的企业用演进的办法来作实施是个很是不错的选择。那成功与失败的关键要素是什么呢？是认知的因素？仍是人的因素？仍是组织因素？仍是指望与落差的因素？标准的中台是什么样子？咱们如何衡量的是在作中台而不是在作平台？作中台从具体事情层面来说，有哪些维度？该如何落地？如今中台的书已经有好几本、网上的各类文章有不少，或多或少的都有在回答”中台”的相关问题吧。我在后面的篇章也会逐渐展开讲我所理解的这些问题。

“伴随着业务的多元化发展，公司各部门纷纷建设各自的业务系统，在产生大量的系统、功能与应用重复建设的同时，也致使了系统之间的数据处于未能及时打通的割裂状态。大量的数据被阻断在了不一样的系统中，就像一个又一个的“堰塞湖”，可能知足了单一的业务场景，却阻塞了企业数据资产的全链路管理，使得企业数据难以被全局规划与定义，这就是数据中台应运而生的源动力。首先，数据中台是根据企业的实际状况所打造的数据产品与实施方案的结合物，它能够融合企业内外数据，打破数据隔阂，解决企业面临的数据孤岛、数据标准不一致等问题。其次，又是一种战略选择与运营解决方案，是一套行之有效的数据运营机制”。

这段话是来自某一个科普文章，在行家的眼里看会怎么样呢？我特麽想问问这个做者，企业级数据集成、数据仓库、数据平台的定位什么。

透过数据中台看数据平台

写这个小标题时尽是纠结，内心一直在想如何系统化的可以比较数据中台、数据平台的的类似性与区别呢？总结了一些维度，好比复用性、资源整合、能力沉淀、按照业务横向相关联性把数据作深度整合并最终沉淀为公共的数据服务能力等等，但发现每一篇文章，每个定义都是很是随性，没有本质上显著的区别，难道在平台的实施中直接换个词就能成为数据中台？开始老板很是高指望的我花 1 年时间投入 30 个、50 个研发、十几个数据产品经理就能完成中台的建设？到头来不断下降的预期、难以忍受的产出与不成正比的投入，最终会怎么样呢？是显而易见的？

复用性、组件化、资源整合、按照业务横向相关联把数据作深度整合并沉淀为公共数据服务能力这些能力在构建数据平台之处就是必须去解决的问题。资源整合也涉及技术资源整合与数据资源的整合没什么好说的。在两年前曾经写过一篇文章《我所经历的大数据发展史》中曾经专门的研究与分享过数据部门的组织结构变化。有感兴趣的读者能够翻出来看一下，关于组织结构这块我在后续还会继续展开讲。

能力沉淀，这个相对来稍普遍一点、数据的接入能力、计算能力、存储能力、业务支撑能力、展示能力都算在能力沉淀中，只有想不到没有作不到。

通常的平台化是由于业务需求繁多、响应及时要求高，须要平台，由于企业的业务发展也是成生物生态的特色，平台化也是须要下降成本、提高效率，并如何快速的支撑与相应业务、可是平台的边界很是清晰与管理很规范。

• 在实施平台后，能够实现柔性的支撑业务，能解放技术同窗并发经历投入到稳定性、高性能、技术改造等一系列的其它重要事情上与提升人效，下降公司成本。
• 平台化后，对业务分治与归口的管理，业务边界变的更加清晰，归口管理使得各团队对本身业务管理更规范与高效避免了一件事情找半天没人理，须要更多的 pmo 与创建更多的流程与规章制度保障工做。ps 读到这里是否是有些读者已经意识到什么了，^_^ 后续在展开讲。

总之平台化是在业务层面、功能层面、接口层面、应用层面去作具体的落地。

回归数据体系建设，企业的一个营销方案可能须要几个礼拜到几个月，是企业为中心，生产为向导的模式，可是如今变为市场为中心，又再变为客户 & 用户为向导的持续规模化。企业的业务响应能力和规模化的创新能力，是区别于传统企业与互联网企业的综合能力的。企业拥抱这样的变化就意味着业务必须逐步彻底信息化，对客户的触达方式也极具的缩短，中间全部的数据记录模式也发生信息化的变化。业务数据结构变化，由传统企业的单纯文本，结构化数据转为非结构化的声音、视频、日志、定位信息等。

因此须要数据处理的技术架构、产品架构、甚至相关的组织结构也是不一样。在这种平台结构下构建起来的数据平台，是企业数据体系建设的基础， 搜集好的数据须要产生价值。数据的搜集、存储、显示、产生价值是一个链路，相辅相成的。一个公司如何想实施好一个数据体系，是须要从数据、产品、工具、技术、应用等多个角度，来共同实施与落地才能彻底作好的。

数据平台这个词自己含有平台，平台这个词内部的含义已经包含组件化、服务化、系统化。建设数据的主要目的就是屏蔽数据异构性、构建统一的数据源，这个无论是在数仓、仍是在数据平台都是必需要作的基本任务之一。

与你们一块儿拆解 2 个内容：

一， 平台中的关于组件、服务与系统化：数据域的建设分为内容建设、工具建设与内容价值探索， 其中工具体系化建设是数据平台的基石，内容透过工具把价值体现出来，工具如何构建与联合将会将会发挥出不一样的价值来。

例如，之前咱们的 ETL 过程、数据工具、调度工具、元数据工具、指标字典、库表字典、数据质量等等一系列工具是一个个的工具产品，每个工具产品解决的是特定领域的问题，好比

指标字典是解决的公司离线级别指标管理与指标口径管理问题或者是还能够增长在线指标的配置管理。

库表字典有的公司若是是数仓主导可能设计的就是给本身服务，里面就是针对数仓的表作查询，若是把业务系统库表整合进来，那就是面向其它技术群体等一款小的服务产品。

有的人说，这个属于元数据的范畴，我把一个数据地图作扎实作透了，把库表字典、指标字典里面的全部元数据经过有机的关系整合起来查询多好，而且能够提供对外的查询服务，或者是在某个流程中，好比 ETL 的过程、调度的过程随时随地能够查询相关的信息与影响因素多好啊。

对没错的， 举得这个例子单个工具与单个工具耦合性不好，缺乏相互联合做用的功能， 如今有很多公司在作产品时每每都是一个个的工具独立的存在， 说是成为一个平台，可是更多的仅是个工具，从架构与定位上来看仅仅是打的一些点，没法联合起来造成一个工具体系提供丰富的不一样场景应用。这样案例不少的。

这个小案例就思考到了组件化、服务化这几方面，来作规划与设计。

二，关于统一，无论是在工具建设、内容建设中不可避免的要去面对多个业务线、多个业务系统来作数据等整合，可能会涉及到不一样的内容须要"归一化" “统一”。

咱们要统一的建模、统一的开发、创建统一的标准，所谓的统一这个是作数据必需要的去完成一个使命，数据仓库自己具有的一个责任之一就是数据整合，屏蔽数据的异构性，完成对不一样术语的统一，若是拿到中台的这个 id 统一，哪一个 ID 统一，本质上只不过是数据仓库、数据平台自己所必须的职责之一。历史有一个项目 的数据项目的目标。感受与如今有多大的差别性？但服务的范围不一样了。就像 APP 日志采集同样，埋点统一也是流量必需要作的事情。

（图例是在 12 年前一个项目中项目模块介绍）

强大数据中台是每一个企业的梦想

每一个企业都梦想要一个很是强大数据平台或中台，对企业内部提高运营效率、决策效率、在线精准，对外支撑各类场景应用。从实施角度、管理、面对客户上总结为：

• 在实施上，想把数据前因后果梳理特别清楚，把数据加工、存储、分析、建模等与数据有有关的全部事情均可以轻松的解决；

• 对于管理上，想有一个能够管理一切的入口，把一切的数据、口径、项目、工程等都管理起来；

• 面对的客户上，想让客户能够一站式在这个平台上获取到任何想要的东西，并能够获取到足够的数据应用能力；

为了这个愿望，大部分的数据人朝着这个终极目标去努力，可是到头却发现，这是个泥潭越陷越深。你们都在泥潭中不停的挣扎，须要面对每天变化的业务与严重不规范的数据结构、肯定什么样的数据源，数据的含义是什么，数据的上下文是什么，数据质量问题，还面临业务数据中元数据的丢失，业务文档基本没有， 问了一圈还没人知道等各方面的问题。

我的相信以上提出的来的这些问题，无论是数据仓库、数据平台、数据中台都是要帮助企业达到这些目的的手段，而不是目标自己，以用户为中心的持续规模化创新，是数据体系建设的核心目标。

企业有成千上万，不一样企业发展的不一样阶段，对于数据建设的意愿度与驱动力也不一样，有的企业还在准备上马数据仓库，有的已经创建本身比较完善的数据平台， 而大厂、准大厂已经数据中台化，也或是走在中台化的路上。

当还在实施数据仓库、一套 BI 的时候，结果有数据平台，当还在努力为了数据平台而在投入资源实施时，有了数据中台。无论三七二十一，抢先发布博人眼球甚至“高大上“全套解决新概念，随着阿里的中台战略以及邓中华的神通常的指导中台问世后，到如今各类培训都来了，如“中台产品经理”、 “实施中台战略”、 “如何实施中台” 。甚至在一些数据产品经理群里还会有招聘数据中台产品经理。

相信每位老板、每位数据建设者在面对数据仓库、数据平台、数据中台这个宏大的多概念混洗在一块儿时，会是一种怎么样万马奔腾。在实施的过程当中到底使用什么方法论？仓库、平台、中台到底有什么区别？

在开始“这个文章系列”以前，咱们先回到企业上数据的基本上来。企业到底要一个什么样的数据管理体系，到底要什么样的功能、为了解决什么问题？须要根据什么原则去设计与实施？

特别赞同一个句话“资源整合，下降成本，同时探索新的商业应收模式”，这个无论是在平台阶段、数据中台阶段都是要必须去知足。

在这个干中台的不如讲中台的时期，但愿不要继续误导企业上什么平台。其实中台究竟是什么并不重要，这只是一个概念。每一个公司有每一个公司的方法，如何千方百计持续提升企业对⽤户的响应⼒才是建设背后最核心的逻辑，更好的服务前台规模化创新，进而更好的响应服务。无论是中台仍是平台可以去的显著成效就好。

本身也看了不少，可是也没把中台这个概念想的特别清晰。其实不用纠结概念，仍是那句话：“中台是什么并不重要，每家公司找到适合本身的方案并推动落地。”

在上面开篇时提到了企业上数据须要解决的问题与面临的困难，那该用什么方案去实施？如今数据这几种方案有什么异同点？

一个企业构建一个数据平台是否已经标志着企业的数据应用能力就彻底上一个新的台阶呢？或许不是绝对，与一些企业管理者沟通起来获得的信息就是成本过高，如何节省成本？

回顾为何会提到这个问题，无论是传统企业仍是互联网企业，由于企业的发展速度、形态与数据量等都不一样，在开始进行中台转型时会从不一样的接入开始切入。像接触几家家企业实施同样，仍是处在数据仓库的时代，不停的无限知足业务的统计、看数需求，就要尝试开始数据中台转型。一个业务成熟、类似并行业务较多的企业、数据体系成熟的公司往中台转型将会是更简单一点。在一些业务的单一模式，业务变化还很是迅速、不停的试错的时候，是在想不到有什么能力能够往中台上去作沉淀，不如先搞平台来作支撑。

在写这个系列时，个人观点是很是明确的：我不反对中台这个概念，反而认为中台是颇有必要的，“随着时间的沉淀，中台会逐渐的沉淀出来”。

在后面的章会继续分享本身在实施中的一些方案、思考与碰壁。