大数据时代的新BI系统架构发展趋势

   商业智能（BI，Business Intelligence）。它是一套完整的解决方式，用来将企业中现有的数据进行有效的整合，高速准确的提供报表并提出决策根据。帮助企业作出明智的业务经营决策。商业智能的概念最先在1996年提出。 当时将商业智能定义为一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。 眼下，商业智能一般被理解为将企业中现有的数据转化为知识。帮助企业作出明智的业务经营决策的工具。商务智能系统中的数据来自企业其它业务系统。 好比商贸型企业，其商务智能系统数据包含业务系统的订单、库存、交易帐目、客户和供应商信息等。以及企业所处行业和竞争对手的数据、其它外部环境数据。而这些数据可能来自企业的CRM、SCM等业务系统。

   商业智能可以辅助的业务经营决策，既可以是操做层的。也可以是战术层和战略层的决策。为了将数据转化为知识。需要利用数据仓库、联机分析处理（OLAP）工具和数据挖掘等技术。所以，从技术层面上讲，商业智能不是什么新技术，它仅仅是数据仓库、OLAP和数据挖掘等技术的综合运用。传统的商业智能系统通常採用下面的系统架构进行构建。

   系统主要由三层构成：各自是1）数据抽取层即传统的ETL。2）数据分析层，即传统的数据仓库；3）数据展现层。即传统的OLAP。

   BI系统是一类提供给使用者对数据进行分析的工具，天然而然其应该具备强大的数据处理和分析能力。随着大数据时代的来临。对于大量数据的高速分析能力的需求成为BI系统的需求之中的一个。所以也给传统的BI分析架构带来了革命性的变革。依据TDWI对48加BI使用企业和生产企业的一份分析报告指出，例如如下图所看到的

国外近80%的企业都正在或准备3年内将大数据分析结合进传统的BI系统中。经过结合大数据分析技术。可以在分析能力和分析类型上对传统的BI系统进行扩展。详细描写叙述例如如下：

   一、分析能力的加强：经过将Hadoop等分布式大数据分析平台结合进BI系统可以加强数据的分布式并行处理能力，从而从底层添加计算能力。为传统的数据挖掘分析带来新奇血液。

   二、分析能力的扩展：结合大数据分析，可以将以往没法分析的非结构化数据或半结构化数据分析结合进BI系统，极大的扩展Bi系统的分析能力。

   三、对专家系统的机器学习补充：传统的BI系统数据仓库和数据集市是由专家知识构建的，这种专家知识可能随着业务的变迁或扩展再也不全然准确，所以BI系统假设想真正实现智能化的分析过程，不只需要专家知识，更需要从与实际业务实时相关的数据中分析出数据的关联性和知识性。于是对于智能化的数据分析与挖掘能力的需求与日俱增。大数据分析能力正好弥补了传统BI系统没法从数据中机器学习和分析的能力的不足。

   针对BI技术的大数据扩展趋势，眼下多家公司都制定了本身的融合软件架构方案。

当中Pentaho做为一家开源的BI开发公司也实现了本身的BI融合Hadoop架构。在著名的开源ETL项目Kettel5.0版本号中已经实现了大数据补丁。提供与大数据分析系统的交互。

其架构例如如下。

清晰可见的hadoop小象。经过其PDI（pentaho date integration）层主要是ETL，实现与传统的关系数据库和hadoop间进行交互。同一时候其也提出告终合hadoop的大数据分析虚拟层。

   眼下国内基本的BI生产商大多仍是採用的传统架构做为实现方案。也有很多国内主要BI开发企业正在向或计划实践大数据分析BI系统的改造。在分析工具中而论。下一个时代很是定时大数据分析的时代。（甚至在机器学习，模型学习研究领域也正在採用hadoop或storm此类分布式和实时分析平台构建模型，各种传统的机器模式技术，图像识别、语音识别等也正在向大数据分析转型。看样之后作机器智能和学习的，没个hadoop都很差作实验了）。