大数据科学新发展展望：不得不知的四大趋势

从2012年开始，几乎人人（至少是互联网界）言必称大数据，彷佛不和大数据沾点边都很差意思和别人聊天。从2016年开始，大数据系统逐步开始在企业中进入部署阶段，大数据的炒做逐渐散去，随之而来的是应用的蓬勃发展期，一些表明成熟技术的标志性IPO在国内外资本市场也不断出现。转眼间，大数据几年前经历的泡沫正在无可争议地转移到人工智能身上。能够说，在过去的一年，AI所经历的共赞成识“大爆炸”与当年的大数据相比，有过之而无不及。最近风口又转移到区块链上了，某种程度上也成为业内人士焦虑的一种诱因了。

但不管技术热点如何变换，咱们能看到的是，随着行业沉下心来进行实质的落地，大数据生态也愈来愈细分。今天就我和你们来谈谈大数据领域的一些新变化、新趋势。

 

1、数据治理与安全 Data Governance& Security

就发展趋势而言，这个能够放在第一位来说讲。

多年来，数据已经在企业中不断快速积累。物联网(IoT) 更是不断加速数据的生成。

对于许多企业来讲，大数据的解决方案就是利用相似于开源的Apache Hadoop等技术做为基础支持，建立数据湖(Data Lake)，即建立整个企业的数据管理平台，用于以本机格式存储企业的全部数据。数据湖将经过提供一个单一的数据存储库来消除信息孤岛，整个组织均可以使用该存储库来进行业务分析、数据挖掘等各类应用。当有了数据湖以后，你们会倾向于认为这东西将会成为一个全方位和万能的大数据集，例如点击流数据、物联网数据、日志数据等都会被要求进入这个湖中，而这些数据很难处理的问题却会被忽略。

可是，除非你知道数据湖里具体有什么，而且可以访问到合适的数据进行分析，不然数据湖再大也没有意义。所以，最后你们都会意识到许多数据湖是表现不佳的资源，人们不知道其中存储着什么内容，如何进行访问，或者如何从这些数据中获取洞察力。

可是，方便地找到想要的东西、同时管理好权限并不容易。除了数据湖之外，治理的另外一个主题是以安全的、可审计的方式为任何人提供对可靠数据的便捷访问。

因此，站在管理并使用好公司数据资产的角度而言，数据治理犹如公司的顶层制度和宣言同样须要被重视，而且用相应的策略、流程等来进行落实。最终目的是经过实现数据治理，来提高数据管理、确保数据质量、造成开放共享的新局面等。此外，数据治理也是决策、职能以及操做流程有机组合的系统，而且人们对这些数据资产承担责任。

2、致力于协做的数据工做台发展

在大多数大型企业里，大数据的采用是从少数独立项目开始的，个推也是如此：譬如这里作一点Hadoop集群，那里用一用分析工具，跑一个简单业务模型，以及意识到须要设立一些新的职位（数据科学家、首席数据官）等等。

如今，业务场景愈来愈丰富，异质性也愈来愈突出，各类各样的工具在整个企业范围内获得了使用。在公司的组织范围内，集中化的“数据科学部门”正在逐渐让位于更加去中心化的组织，缘由在于集中化的部门愈来愈走向瓶颈，也更容易形成资源的流失。

这个由数据科学家、数据工程师以及数据分析师组成的群体，正日益嵌入到不一样的业务部门里。所以，对于平台来讲需求已经很明显了，那就是要让一切都能协做到一块儿来，由于大数据的成功正是创建在设立一条由技术、人以及流程组成的装配线基础之上的。

所以，一些全新的协做平台类型（譬如 Jupyter等）正在加快出现，引领着所谓的DataOps（与DevOps对应）领域的发展。

 

3、数据科学自动化

数据科学家(Data Scientist)依然是市场上煊赫一时的争夺对象。可是咱们在周围却不多见到这类人，哪怕是财富前1000强的公司也为没法招到更多“数据科学家”而感到困扰。而在一些组织里，数据科学部门正在从使能者演变为瓶颈。

与此同时，AI的大众化以及自服务工具的蔓延使得数据科学技能有限的数据工程师，甚至是数据分析师在执行一些基本操做时变得更加容易了，而这些操做直到最近仍然是数据科学家的领地。在自动化工具的帮助下，企业大量的大数据工做，尤为是那些简单枯燥的工做，将由数据工程师和数据分析师进行处理，而没必要麻烦有着深厚技术技能的数据科学家。固然，即使如此，数据科学家目前还不须要太过“恐惧”。

在可预见的将来里，自服务工具和自动化模型将会“加强”数据科学家而不是消灭他们，会解放他们，让他们把焦点放在须要判断、创造力、社会化技能或者须要垂直行业知识的任务上，那样才能更加体现科学家的名号。

 

4、大数据管理员的崛起

大数据管理员(BDA)也对标于数据库管理员(DBA)，虽然两个英文字母只是变换了一下顺序，可是其内涵相差甚远。一个很是明显的趋势是，企业将对一个新岗位角色产生需求，即大数据管理员。DBA你们已经很是熟悉，但它与大数据时代下的数据管理员，有很是大的差异。

数据管理员处于数据使用者和数据工程师之间。为了取得成功，数据管理员在进行大数据系统的维护工做以外，还必须了解数据的含义以及掌握应用于数据中的一些技术。

数据管理员须要清楚整个组织内须要执行的数据分析类型，哪些数据集很是适用于这项工做，以及如何将数据从原始状态转换为数据使用者执行这项工做所需的形态和形式。数据管理员应使用像自助服务数据平台这样的系统来加快数据使用者访问基本数据集的端到端流程，而无需制做无数的数据副本。

 

结语

以上四个方面是数据科学在实践发展中提出的新需求，谁能在这些方面获得好的成绩，谁便会在这个大数据时代取得领先的位置。