[个推 CTO 、前MSN中国首席架构师谈数据智能] 之本质及技术体系要求

安森，个推CTO 毕业于浙江大学，现全面负责个推技术选型、研发创新、运维管理等工做，已带领团队开发出针对移动互联网、金融风控等行业的多项前沿数据智能解决方案。

曾任MSN中国首席架构师，拥有十余年资深技术开发与项目管理经验，在大数据处理系统、大规模并发平台、分布搜索系统、手机应用开发、无线通讯领域和智慧金融系统等领域拥有丰富实践经验。

引言 中国移动互联网的发展见证了中国大数据行业的蓬勃发展。数据智能做为移动互联网时代的天然产物，也是将来很长一段发展阶段的核心所在。个推（每日互动）和业界的共识不谋而合，从2010年成立到如今，通过多年的发展，从一家移动互联网时代服务于开发者的基础推送平台服务商，已经成长为创业板的上市公司，也是国内首家在A股上市的数据智能公司。做为专业的数据智能服务商，个推立足开发者服务，将不断致力于用数据推进产业智变。

围绕“数据智能”主题，我将经过一系列文章进行阐述。本文主要从技术角度来探讨数据智能中涉及的各个方面，但愿经过这一系列内容，能让你们对数据智能以及所涉及的技术体系有一个比较清晰的了解。

本系列将从如下五方面展开： 01数据智能时代的来临：本质和技术体系要求 核心内容：咱们根据个推在数据智能领域多年的实践来说讲咱们对于数据智能的理解，而且从整体上提出对应的技术体系要求。

02数据智能下的数据资产治理思路

核心内容：主要探讨做为资产后的数据如何进行治理，须要具有的基础，具体如何实施，最终保证数据资产的安全、合理使用、以及价值创造。

03数据智能下的安全计算体系

核心内容：在保证数据资产的全部权和使用权分开的前提下，目前能够采用的技术和方法论。

04数据智能下的数据质量保证体系

核心内容：大数据之因此为大，是由于其规模以及多样性，不一样于传统的小数据，能够很快去验证其正确性，那么能够采起什么方法去保证数据的质量及可检验性呢？

05数据智能下的不一样行业的业务探索实践 核心内容：隔行如隔山，数据智能也具备鲜明的行业区分性，这个主题会讲述几个咱们涉及比较深的行业的探索实践，并总结一些经验和教训。

正文 大数据的发展历程 本文是系列文章的开篇，首先聊一聊咱们理解中的数据智能的本质；同时做为公司技术负责人，和你们探讨一下基于技术体系的要求，也就是数据智能时代，要从数据中体现智能，从技术方面须要作哪些事情。

什么是数据智能，这个概念怎么来的呢？

记得从2010年开始，随着移动互联网的兴起，大数据也随之出如今各个媒体网站和行业论坛，你们见面都会问一句：“大家搞大数据了吗？” 其实你们对大数据该如何加以应用都不太清楚。

大数据的发展过程是什么样的呢？下图比较清楚地对此进行了诠释。

我把它称之为大数据成熟度模型。这个过程实质上咱们理解也是数据从工具变成为资产的过程，从一个辅助的东西变成生产资料的过程。如今在提的数字经济，不少人试图对此进行理论定义，以便把数字经济和实体经济从概念上区分开来，个人建议是就从数字是否做为主要生产资料，是否做为核心资产这个角度去界定，会比较简单明了。

从这几年的实际发展来看，大数据基本上按照上图的这个模型在演进发展。

2013年左右，企业已经开始认知到数据价值，各个具备大数据生产环境的行业如电信运营商、政府、公安、金融等开始建设大数据平台，收集并存储企业业务产生的数据。同时，金融等行业也开始大量购买外部数据，但愿经过外部数据快速挖掘数据的价值，弥补自身数据短缺的问题，很多从事数据聚合和相关服务公司得到了发展机遇。

2015年，大数据进入到了监测阶段，经过数据大屏等形式，实现对业务的监测，这是大数据最先、最早成熟的应用方向。对于政府、央企及大型国企而言，数据大屏、领导看板等数据展示应用是大数据最直接可以反映价值的方式。

2017年，大数据平台建设基本完善，单纯数据展示开始难以知足企业的多样化需求，大数据开始与业务场景结合，基于大数据实现对业务问题的洞察，呈现出百花齐放的局面，分别应用在金融领域的精准营销和风控反欺诈，公安领域的刑侦破案，工业领域的故障预测预警等。

企业对业务场景的洞察，单纯靠简单的数理统计已经不足以知足要求，所以，数据挖掘、数据建模技术应运而生。AI建模平台、数据科学平台开始进入人们的视野，出现了一些主打建模平台的创业公司，但更多公司将AI建模平台内化成自身的能力，基于AI建模平台，造成解决方案，帮助企业客户落地大数据应用。

在2019年左右，大数据开始进入到业务决策阶段，也就是说，由机器造成数据报表或者数据报告，业务人员进行决策变成机器直接给出决策建议，让机器具有推理能力。例如，在外卖、出行场景，美团和滴滴的系统直接造成最佳调度方式，系统自动完成决策环节，将任务下发给骑手和司机。这种消费互联网相对常见的场景，将在产业互联网、企业业务场景中逐渐出现。也就是说，大数据开始从业务数字化阶段向数据智能化阶段迈进。

数据智能的特征和定义 从上节中的大数据发展历程中，咱们看到数据智能目前对应的是决策、优化以及商业重塑阶段，也就是说让机器具有推理能力；而这些能力意味着天然语言处理(NLP)、知识图谱(Knowledge Graph) 等认知技术的逐渐成熟，这也是为什么2018年NLP、知识图谱成为市场的热点的缘由。所以，数据驱动决策，数据驱动业务发展的企业新需求，也必然会带动一批数据智能公司的兴起。

将来，随着技术更加成熟，大数据会从决策进入到最后一个环节，也就是业务重塑。不少执行环节能够由机器来实现，但仍然有不少环节须要人参与其中。所以，人机协同会迎来迅猛发展，从人工智能 AI (Artificial Intelligence ) 向人类智力加强 IA (Intelligence Augmented) 进发。

至此， 咱们试着给数据智能作一个定义：数据智能就是以数据做为生产资料，经过结合大规模数据处理、数据挖掘、机器学习、人机交互、可视化等多种技术，从大量的数据中提炼、发掘、获取知识，为人们在制定决策时提供有效的数据智能支持，减小或者消除不肯定性。

大数据的发展历程 数据智能首先须要有数据提供，并且数据在其中充当着核心资产和生产资料的角色，那么对于数据的治理就显得尤其重要。什么是数据治理(Data Governance) 呢? 咱们常常听到公司治理这个词，公司治理在经济学上主要解决几个问题： 全部权和经营权如何分离？ 公司全部者如何向职业经理人进行科学的受权及监督？ 那么对应地，数据治理也要解决相似的几个问题： 数据（资产）有哪些？ 如何让数据全部权和使用权分离？ 数据资产全部者如何向数据使用者进行科学的受权及监督？

数据智能的全部手段其实都是在解决上述的几个问题。关于数据治理方面的内容我将在本系列的第二部分进行详细描述。

同时，咱们知道穷人和富人之间的差异在于对待财富的态度，富人更多的是从资产增值的角度去对待财富，想的是如何创造更多资产，而且让资产不断增值；穷人更偏向于从消费的角度去看待财富，赚来的钱更多的是用于消费。那么在数据智能时代，若是咱们想成为一个“富人”，就须要考虑如何让数据发挥更大的价值，如何找到其余合做者去联合创造价值，可是数据不一样于别的资产，其具备可复制性、难确权的性质，这就须要咱们去解决数据安全问题，也就是目前行业内比较关注的安全计算技术，在本系列的第三部分我将对此进行详细阐述。

还有一个须要咱们关注的点是：大数据因为其具有的 4V 特性，特别是量大、种类多，有时候会让咱们对于其聚合或者产生的结果存疑，虽然有一些能够经过常识或者直觉去判断，可是老是有说不出的味道。这就须要有一个质量保证体系来让咱们对于数据从产生到最终的各个环节有一个完整的检验过程，本系列的第四部分会对质量保证体系进行详细描述。

在这里小结一下，数据智能的技术体系至少须要包含三个方面： 数据治理系统 数据质量保证系统 数据安全计算体系

结语 数据智能做为大数据时代一个重要且激动人心的阶段，机会与挑战并存。做为本系列开篇文章，本文对该主题内容进行了一个总体概述，后续会对具体内容逐步展开，但愿对你们有所帮助。

番外

文章构思于2019年7月24日，突然发现这个数字很应景。7*24 是不少行业中服务的态度和承诺，表示一周天天24小时提供服务。在数据智能时代，个推的产品和服务也一定是全天在线，一周七天！

咱们一直深耕于开发者服务领域，以消息推送为基础，发展了“用户画像”、“应用统计”、“一键认证”等一系列面向APP开发和运营的产品，构建开发者新生态。同时，个推不断拓宽以数据智能为核心的服务边界，以创新的技术为移动互联网、品牌营销、金融风控、智慧城市和公共服务等各垂直领域提供定制化的大数据解决方案。将来，个推但愿用数据和技术的力量与更多的行业共筑数据智能双赢生态！

更多精彩内容，请关注：个推技术学院