数字化转型趋势下的数据中台建设之道

近日，奇点云副总裁何夕应创业邦BangTalk邀请，首次线上直播分享《数据中台建设之道》，直播间人气爆棚互动活跃。如下为演讲实录分享（文字根据现场演讲录音整理）。

数字化转型，其实并非个新词。

根据IDC（互联网数据中心）的报告，自从数字化浪潮开启以来，企业就开始数字化进程。而据IDC预计，到2020年中国GDP的20%未来自业务数字化转型的增长值，数字化转型已上升到宏观经济层面，不只将改变企业运营方式，还将重塑经济面貌。

咱们要如何去定义人工智能的将来？

它影响到咱们去怎么去理解数字化转型的本质。

过去10年中，云计算、大数据和人工智能技术的发展，不断驱动机器智能替代体力和脑力，那些高频重复的体力和脑力工做，愈来愈多地被机器智能所取代；而脑力赖以生存的经验公式（方法论、思惟工具等），也愈来愈多地被算法所代替。

数字化转型主要面临的都是数据问题

站在今天的角度，咱们或许能够清晰地定义数字化转型，本质上就是以算力、算法和数据为表明的信息技术，以数字化的方式驱动社会总体的改变和变革。数字化转型的将来清楚指向人工智能的发展，从而让人作人该作的事情，让机器作机器该作的事情，人类和机器脑力算力协同发展。

传统的数据分析实际上是一种刀耕火种的状态，手工对数据进行提取，手工清洗数据、手工的透视和分析，以及在此基础上生成一些可视化图表，在这个过程当中，其实只有透视和分析是人真正应该去作的事情。前面的数据提取、数据清洗，包括后来的数据可视化，其实均可以经过相关的BI工具和一些可视化工具来完成。

《富足》这本书讲到，当人类社会的生产资料从供不该求进入供过于求后，不少商业模式和商业逻辑都会发生巨大的变化。

今天咱们面临着一个很是大的变局——数据量的指数级增加。2015年是人类社会数据增加的一个关键节点，由于在2015年，其一年产生的数据量是人类过去历史上产生的数据量的总和。换句话说，人类的数据量自此进入了指数级增加，2015年以后，数据量每一年增加40%-50%。而后它会给咱们带来巨大的数据富足的挑战。这种挑战咱们称它为日益增加的数据存储费用和仍然稀缺的数据应用之间的矛盾。

这个矛盾到底会给咱们公司的业务带来哪些挑战？须要如何解决？

做为一家已经跨越了数据指数级增加的公司，阿里巴巴的经历或许能够给咱们启示。2007年，阿里巴巴决定将来要成为一家数据公司。2009年，阿里成立了阿里云，正式开启了去IOE的路程。

从2003年成立以来，淘宝收集了大量的数据，其中90%是非结构化的日志数据，当有了数据以后，全部人都想看见数据背后的真相：用户从哪来，他们买了什么，为何购买，转化率如何……相似这样的分析问题，给阿里带来巨大的数据挑战。

2012年数据平台部的成立，这个被称为CDO的部门，诞生了一系列数据分析和挖掘工具，包括在云端、数据魔方、淘宝时光机、淘宝指数、TCIF等等。特别要提一下TCIF（淘宝消费者数据工厂），由如今奇点云的创始人行在创立，拉通了阿里巴巴全部的消费者数据，而且完成了3000+标签体系的建设。2012年的标志性事件，就是TCIF的存储和计算消耗量超过了BI，以TCIF为表明的人群定向成为了计算资源的消耗大户；另外一个标志性的指标是，阿里巴巴有50%的服务器再也不处理任何事务，而仅仅用于处理数据。

2015年也有两个标志性事件：一是阿里云数加平台的成立（行在创立），表明阿里巴巴开始把内部造成的大数据能力外化，赋能社会去创建大数据能力；二是推出千人千面算法，推荐算法一跃成为了存储和计算资源的头号消耗大户。

推荐算法不只仅是咱们看到的淘宝界面那么简单，在某种程度上，推荐算法让阿里巴巴跨越了「从人指挥机器到机器指挥人的奇点」。

数字化转型核心是创建清晰有效的数据战略

为何今年数据中台特别火？

咱们全部的企业在数字化转型走到今天，会发现业务问题背后每每可能隐藏的为数众多的数据问题，如数据不通，数据不可用，数据变现等问题。

拿「数据变现」打个比方，在数据进入了乘数级增加或者指数级增加的领域会特别明显，好比汽车因车联网的关系，它的整个数据增加量很是快，可能每一年都有几十T的数据增加。而这些数据只是把它们存了下来，可能我有几亿行的数据，但我连一张大宽表都拉不出来，因此这个状况下它的数据是彻底不可用的，因此须要解决数据变现的问题，而数据变现就是日益增加的数据存储费用和仍然稀缺的数据应用之间的矛盾。

不少的企业其实去作了不少算法、数据应用的尝试，可是由于没有解决数据采集、数据质量的问题，就会出现例如采集到的数据一半是空值，统计口径不一致所带来的数据总和之差，也有好比说咱们的发票数据和销售数据的总和，它可能相差5%~10%不等，而后在不在某些行业来讲，这可能就几千万到上亿的一个差距。这些业务问题背后其实都不一样程度地体现为数据问题。

数据资产如何变成业务价值？

讲数据中台的时候，咱们必定会讲，须要和数据中台一块儿去创建整个企业的数据资产的管理体系，那么如何去建设？这也是不少企业会碰到的问题。

数据若是仅仅是存下来，它是不能解决咱们所说的主要矛盾的。那么数据资产要如何增值？如何变成业务价值？哪些业务是这个领域，哪些业务是个人数字化转型过程当中最核心的业务？它是有业务痛点、业务场景的，包括它多是一些明星需求可以带动整个公司来认知这件事情，提高对数据的认知，这些都是在这个过程当中须要去解决的。

大数据咨询的核心是厘清差距

数据战略不能仅仅是把它当成一个技术问题，而是要从业务、技术、组织三个维度综合的来考量咱们的整个数据的问题。那么要如何去考量这件事情？此前一年，为帮助企业推动数字化转型战略，解决数字化转型中的问题，奇点云推出了大数据咨询服务，并付诸大量案例实践。奇点云也将这些实践经验总结提炼成方法论，以白皮书的形式开放给更多商业机构。

而大数据咨询服务，它的核心的价值也就是厘清差距、明确方向。

咱们如何去建设整个数据中台？做为咱们公司的一个基础设施，通常把数据中台拆成4个部分来作建设规划。首先对于咱们的数据中台来讲，他必定会须要解决的是数据的来源问题，包括对咱们的数据进行有效梳理，在此基础上，咱们有专业的团队来构建一站式大数据智能服务平台DataSimba，经过咱们的数据中台去解决整个数字资产管理问题，以及创建整个资产管理体系，整合全部的数据。咱们把这个过程称为数据的工业化生产体系，在这个基础上，咱们会仰赖一些专业的分析师团队去own，仰赖于算法工程师挖掘数据价值，真正去帮助咱们作数据决策，而后去产生业务价值，最终必定是实现经过数据去创建数据决策能力，并面向市场进行一些应用的开拓，从而真正有效的使用，创建内部协同、外部协同，提高总体的经营水平。

具体如何基于明星需求去开展一些业务数据化的规划和实施呢？从数据的维度，首先要创建ETL数据抽取清洗处理的能力，有专门团队再进行探索性数据分析造成算法，去赋能整个沟通决策，至关于自动化分析，在此过程当中构建数据产品，在现实世界中使用，完成整个闭环动做。

下面介绍咱们创建的一套数据资产管理体系的方法论，咱们叫它「盘理管用」。

从数据用起来的角度，根据业务场景，看数据是否已被收集、治理，是否已变成数据资产价值，因此叫「盘理管用」。但从咱们思考的维度则相反，咱们要关注怎么去盘、怎么去理、怎么去管，以及最终怎么去用。

当咱们具有了这样的数据中台能力，具有了这样的数据资产管理体系，咱们就会进入到如何去赋能咱们的业务，而后也分享咱们在实践过程当中的一些经验。咱们在跟一些企业作咨询的时候，其实你们慢慢对算法这件事情会产生极大的认同，由于算法代替经验公式在今天是一个不可阻挡的潮流。那么对于公司来讲，将来的竞争的态势极可能会是每一个公司所拥有的算法的数量和质量的竞争，公司就须要去沉淀本身的算法平台，去沉淀本身的算法模型，包括在集团管控、研发、制造、营销、服务、人才，包括共享服务上，都须要有本身的算法模型，去真正的去一方面去提高人效，下降整个成本，另外一方面就去沉淀本身的一些实实在在的竞争壁垒。

目前线下的传统企业，不少时候数据问题并不只仅是数据不通或者数据变现的问题，不少时候仍是数据有无的问题。想要具有淘宝同样的数据化运营能力，那么它最大的数据来源会是哪里？从科学的角度来讲，线下90%其实都是视图声的。而视图声数据你们都知道，它必定是非结构化数据，那么咱们就须要去解决这些非结构化数据的采集和结构化的问题。咱们如何把「数据原油」转化为企业所须要的燃料，助推商业引擎？

奇点云提出了AI+DATA「云（智能）+端（感知）」解决方案，帮助更多企业实现数字化转型，为他们赋能。

今天咱们更多地还要去创建使用非结构化数据的能力，也就是奇点云在云端所提供的全场景智能化的企业转型服务，围绕整个数据中台建设AI算法，经过360度数据管家帮助企业更好地掌握企业的数据现状，及运用大数据咨询解决发展中的重大数据问题，帮助客户真正实现数据化企业运营，盘活企业的数据资产，创造更多商业价值。