深度分析数据库，从人类“登月”谈起

数据库做为一种数据管理的技术，起源于上世纪60年代，战争中对于情报管理的须要，而出现。可是促使数据库系统，在短短10年间快速发展，取得突破性进展的，倒是航天事业。

上面这张图，是土星五号的总体结构示意图。

来自百科中关于土星五号的介绍:“土星5号还是人类历史上使用过的自重最大的运载火箭，高达110.6米，起飞重量3038.5吨；总推力达3408吨，月球轨道运载能力45吨，近地轨道运载能力118吨。它曾9次将宇航员送上月球。”

土星五号做为一个超级工程，有约200多万个零部件，而为了精确追踪每一颗零件，从生产制造到安装成型的整个过程，复杂程度之高，以致于NASA须要管理一个数据量庞大的巨型清单，来确保项目的正常运做，如期完成。

为此，IBM、北美航空、卡特彼勒联合，为 NASA 开发了一套数据管理系统 IMS。因而，人类一不留神，创造出了当今信息化技术中最重要的一部分——“数据库系统”。正是依靠这项技术的助力，才最终将“登月”这项人类壮举从图纸中，变成了现实。

在20世纪70年代，人类不只进入了星际时代，同时也进入了名为数据化的时代。

以后的50年里，随着互联网的兴起，在互联网的加持下，全球各国的企业都建设了大量的信息化系统，天天都会将真实的世界转化为数据，永远的保存在数据库中，这些日积月累下的巨量数据，就像是过去世界的影子，让企业逐渐意识到，本身的业务系统天天生产的数据，变成了一座取之不尽的金矿。

可是如何充分利用大数据这座金矿，使之成为黄金？随着这个问题的出现，理所固然的，就会涉及如何得到数据、如何加工数据、如何作数据分析等等问题。咱们掰开揉碎的来说，首先谈谈如何得到数据?

当前市面上种类繁多的数据库，关系型数据库、非关系型数据库、数据仓库等等，着实使人眼花缭乱。甚至企业内部，不一样部门的数据库类型都是不同的，这就很容易形成数据互通存在某种壁垒。

想要随时高效的获取数据，第一关即是对于这些数据源的对接和数据获取能力的考验。须要关注对各类不一样数据源的实际对接能力，能在很短的时间内和各类各样的数据源进行链接，而且能够随时获取其中的数据。

第二关，拿到了数据，可是拿到的数据中存在好比，数据缺失或者用0、一、二、3这种字符，代替了实际意义“异常的”、 “不干净”的数据；或者例如拿了订单数据，可是却没有关于哪一个客户下的订单，这种“缺乏相关数据字段”的问题，那就须要对数据进行“清洗”和“补充”。可是通常这些操做都是由技术人员经过sql或者ETL工具完成的，怎么让不懂这些技术的同事也可以进行这部分工做呢？利用可视化技术，经过UI封装复杂的代码环节，最大程度的减小不懂技术所带来的负担。这一样也能够间接的减小IT部门在开发报表方面工做。

第三关，数据准备好了，如何作数据分析呢？最广泛的数据分析方法，就是对比，较上年利润率提高了多少，具体的利润结构如何，利润结构中的某一部分增长了仍是减小了等等。

通常状况下，咱们会拉张报表，看看结果如何。但是受制于制做报表的工具，很难作到深度纵观全局的联动分析效果。好比，我想看企业总体收入结构，和其中主营业务相关的数据，仅仅是这个场景下，咱们就须要看至少两张不一样的报表，甚至还要去不一样系统中去翻找。

但若作了数据下钻这种功能后，就能够直接从总体收入结构中层层下钻，下钻到不一样业务分类中。再配合数据可视化，能够最大化的提高数据的利用效率和利用率。

例以下方的两张图，从全国下钻到华中大区，看到每一个省份的具体数据，固然，若是数据粒度足够，仍能够继续下钻。

第四关，作了基本的数据分析后，企业常规的数据分析需求已被解决，能够随时随地查看到企业常规的一些报表和报告。而某些特殊的数据分析需求，好比须要利用海量的数据做为深度分析的基础，训练某种能够用于预测的深度分析模型。在实现过程当中，咱们发现，深度学习所使用的数据，就是来源于企业本身的业务系统，一样须要作数据准备的工做，在模型计算完成后，预测结果一样须要和实际结果进行对比。那么在同一个数据分析系统中作深度分析，显然是可行的，也是必要的。

因此可以在一套系统中同时知足自服务数据准备、探索式分析、深度分析和企业级管控的工具——BI（商业智能），便应运而生。而YonghongBI正是为了解决如何提取大数据的价值这个核心问题，而推出的一站式的大数据分析平台。

那么什么是YonghongBI一站式大数据分析平台？

永洪科技是这么定义的：

它必须可以提供了一个完整的用户体验——把大数据分析所需的产品功能所有融入一个平台下，进行统一管控；

它支持所有云端OS，支持公有云、私有云和混合云等多种架构；

它可以让用户轻松、快速地获得动态报表和可视化展示；

它不只能被IT人员掌握，也能让业务人员轻松操做。

目前，永洪科技一站式大数据分析平台（注：如下行业案例中缩写为Yonghong Z-Suite）核心功能包括：自服务数据准备、探索式分析、深度分析和企业级管控，提供三款核心产品：敏捷BI、深度分析和MPP数据集市。

产品特色包括：简单交付、轻松上手、移动跨屏、大数据处理能力。

当前，有哪些人在使用一站式大数据分析平台？

从用户分类状况来看，主要有四类用户群：

第一类用户是报表的开发者，需求是快速开发；

第二类是高级用户，大部分是数据分析专员或者业务专家。需求是深刻洞察分析；

第三类是普通用户，部分是经理，团队管理人员，需求是轻松上手及真正接触数据；

第四类用户是高层管理人员，须要报表一目了然，便于操做，需求是随时随地查看数据，提供决策支持。

不少人有疑问，一站式大数据分析平台的深度用户是否是只有大数据量的企业？其实否则。永洪科技在实际项目中发现，一站式大数据分析平台一方面适用于政府、金融、电信、互联网公司、医疗、零售快消、大型制造业/传统企业等这类数据量比较大的客户，也一样可以更好地适配于数据量比较小的中小企业，大型企业中有独立信息系统的业务部门。

因此，一站式大数据分析平台的深度用户没有数据量大小之分，它自己的自然特性决定了其具备更强的适用性，可以适用于各行业、各类类型的客户群体。