5分钟入门数据分析

        对于刚刚入门数据分析的同窗来讲，很是有必要对大数据分析流程有一个总体的认识，明白整个分析链都有哪些环节。当您清楚数据的分析过程以后，你天然也就找到了通向高阶分析的钥匙。除了具有解决异常问题的处理能力以外，更能轻松优化分析模型，甚至是经过已有的分析结果倒推出数据发展变化的通过。

        从大致上来说，数据分析主要包括肯定分析目标、收集数据、数据探索、构建分析模型、模型发布、可视化展现这几个流程。

           一、肯定分析目标

         “凡事预则立，不预则废”，确立大数据分析目标一样适用。在分析数据以前，必需要明确分析的目标是什么？通常状况下，须要明确数据的维度，肯定分析任务，定义问题领域。

           二、收集数据

        在明确了数据分析目标以后，就真正接触到了数据集。抽取数据以后，为了保证数据的分析结果，必须对数据进行去燥操做，获得精准数据。这方面的工具，通常包括ETL工具、EXCEL数据透视表、各种DATABASE等。而这一步中，最关键的是保证数据的质量。

           三、数据探索

        获得数据以后，首先要验证这些数据是否达到了咱们的设想要求，经过训练数据，一步步的了解数据的特质，找出数据之间的关系与规律，为构建分析模型打好基础。常见的数据探索手段有交互分析、数据处理、可视化分析等，重点在于快速辨析数据的模式与特色以及规律，并把它们有序地发掘出来。

           四、构建分析模型

          这一步是整个数据分析的核心。须要考虑选择何种ML（机器学习算法）来构建模型，以反映样本数据的内部结构的通常特征。经常使用的工具主要是使用R语言、SPSS及近年来兴起的OpenFEA。而常见的机器学习算法，根据数据有没有标签，能够将机器学习算法分为有监督和无监督两类。如下列举了一些比较常见的机器学习算法。

           五、模型发布

        模型发布以前，须要运用专业知识对构建的分析模型进行初步评测判断和解释，以决定是否重复分析，经过不断的变动、迭代过程后，将完善后的分析模型，与计算框架、调度控制封装后进行发布。

           六、可视化展现

        运用可视化图形（饼图、柱形图、条形图、折线图、散点图、矩阵图等），将分析结果进行图形化输出。也能够经过构建分析门户，来提供单独的访问口径。这一步离客户端最近，但不少大数据分析系统将其省略。随着可视化分析的不断深 入，此流程将愈来愈受到重视。

        综上所述，数据分析的六个流程并非每一个大数据分析系统都覆盖的，不少大数据分析系统只侧重于一个或几个流程，没法作到全覆盖，而OpenFEA却能作到全流程、全覆盖！