企业大数据分析实践指南

在咱们身处的时代，数据无处不在。据IBM公司估算，人类天天产生约25万ZB的数据，这意味着世界上90%数据都是过去的两年中产生的。Gartner公司分析报告显示，在2015年财富500强的公司中百分之八十五的企业没法利用大数据来获取竞争优点。

 

 

数据无处不在

在咱们身处的时代，数据无处不在。据IBM公司估算，人类天天产生约2.5万ZB的数据，这意味着世界上90%数据都是过去的两年中产生的。Gartner公司分析报告显示，在2015年财富500强的公司中百分之八十五的企业没法利用大数据来获取竞争优点。

到2020年，全世界将有上百万大数据相关的就业机会产生。这些庞大的数据蕴藏了宝贵财富，企业可使用最早进的分析技术，利用这些数据更好地了解客户的行为，识别商业机会，制定运营战略。

让咱们举几个例子，金融机构天天经过信用评分模型，了解他们的客户在将来12个月内每种信贷产品(抵押贷款、信用卡、分期贷款)上的信用。他们以该信用评分为基础来进行坏账准备，计算巴塞尔协议II/III规定所需资本金数量，或是制定营销方案(例如根据信用评分调整信用卡额度)。

电信运营商使用最近通话行为数据创建流失模型，估计客户在将来一到三个月流失的可能性。运营商会根据模型得分来制定营销活动，避免有价值的客户流失。Facebook和Twitter会使用社交媒体分析技术进行内容分析和情感语义分析，以便更好地了解品牌认知度，进一步调整产品服务设计。

亚马逊和Netflix等在线零售商不断地分析顾客的购买行为，以决定产品捆绑销售策略，并利用推荐系统为客户下一次购买推荐产品。信用卡公司使用欺诈检测模型，检测付款是否具备欺骗性，是否发生了信用卡盗刷。政府采用数据分析技术来预测逃税行为，优化公共预算分配，分析交通数据提升公共交通效率，分析预测恐怖袭击保障国家安全。

化数据为价值

数据是任何分析模型成功的基础。当启动分析项目时，有必要详细列出企业内全部可用于分析的数据。这里的原则就是数据越多越好!由于不少分析模型都能自动决定哪些数据对当前分析很重要，哪些数据能够排除在下一步分析以外。

咱们的研究不断印证了这样一个观点：改善分析模型最好的办法，就是投资于你的数据!这能够经过数量和质量两个维度的提高来完成。对于前者，一个关键点是如何整合结构化数据(例如关系数据库)和非结构化数据(如文本)，提供全方位综合视角进行客户行为分析，另外一个关键点则是在线数据和离线数据的整合，不少企业为这个问题所困扰。

此外企业还能够超越其内部边界，考虑从外部数据供应商那里购买外部数据，以弥补其内部数据的不足。大量的研究代表采用外部数据，对比较和完善分析模型很是有用。虽然数据经常体量巨大，可是数据质量常常是一个痛点。GIGO(garbage in garbage out)的原则在这里很是适用，烂数据只会生成烂模型。

听起来显而易见，然而实践中数据质量每每成为许多分析项目的“阿喀琉斯之踵”。数据质量能够分解成不少维度：准确性、完整性、新近度、一致性等。在大数据分析中，企业必须专门制定数据质量管理方案，设立数据审核员、数据管家或数据质量经理等职位，持续监测数据质量。

数据分析应该从商业问题开始，而不是从具体的技术解决方案开始。可是这带有一丝“鸡生蛋，蛋生鸡”的意味。要解决商业问题、识别商业机会，须要对潜在的技术解决方案有了解。以社交媒体分析为例，只有首先了解分析技术后，公司才能开始思考如何利用它们研究在线品牌认知度，进行趋势监测。为了跨越分析技术和业务之间的鸿沟，持续性培训和学习是关键，它能使企业始终屹立在分析技术的潮头，保持竞争优点。在这一点上，学术界应该深入反省，由于现有的不少大数据分析(或数据科学)硕士课程没法知足上述的要求。

将数据转化为洞察力和提高价值的另外一个关键点是分析模型的验证。分析模型须要适当的机制和工具来进行审核和验证，愈来愈多的公司将分析团队拆分红模型开发和模型验证两个团队。良好的公司治理可以在两个团队之间筑起一道防火墙，使得由前一小组开发的模型能够客观和独立地被后者团队评估。

公司甚至能够考虑由外部合做伙伴进行模型验证。经过创建分析基础信息设施，公司可以不断基于现有情况对模型进行评估和验证，提高分析模型性能，抓住更多目标客户。

数据分析每每不是一蹴而就的事情。事实上，当分析模型投入使用时就已通过时了!分析模型老是落后于现实，咱们能作的只是保持这种滞后性尽量小。分析模型所使用的数据，都是在一个特定的时间点和特定的内外部环境条件下采集获得的。

这一特定环境不是静态的，而是随着内部因素(如新战略，不断变化的客户行为)和外部因素(新宏观经济环境和法律法规)不断变化而变化。例如，欺诈检测分析中，欺诈者老是试图不断逃避模型的侦测，以骗取更多的钱财。另外一个例子是信用评分模型在很大程度上依赖于当前的宏观经济情况(复苏或是衰退)。所以，分析模型要取得成功创造价值，就必须对内外部环境进行监测，以及时调整或重建模型。

构建底层基础

为了创建一个分析环境，企业须要就所采纳的硬件和软件技术进行选择。

硬件方面，须要专门的基础设施(如Hadoop和相关的软件栈)来清理、整合、存储和管理数据。为了减小支出，企业可能选择云存储，并将大数据做为一种服务。公司在同外部进行数据传输和交换时，应采起适当的谨慎措施，保证数据私密性。

软件方面，不少厂商提供了大数据分析的商业解决方案。目前市场还有不少的开源分析软件(R、weka、Rapidminer)，虽然这些开源软件解决方案变得很是流行，可是他们还不够成熟，还不足以很好的处理具备大致量、多样性等特性的大数据。

大数据分析成为愈来愈多公司的DNA 组成部分，可是政府、金融、医药，每一个行业都有本身发展足迹，数据、业务和监管都具备特异性，须要针对不一样的基因组成进行不一样的设置。所以企业须要的是能提供综合全面垂直业务解决方案的软件，而不是一个跨行业的横向通用软件。

鉴于创建数据分析构架环境的复杂性，公司可能会考虑外包。然而，公司内部数据及其蕴藏的信息是公司最宝贵的战略资产，所以不宜让第三方彻底拥有数据访问权。相反，企业应该创建内部分析中心和培养公司人员的分析技能，以服务公司普遍的分析需求，这是公司在管理中应该考虑的问题。

一样公司董事会和高级管理人员都应该参与到分析环境构建中。不少企业还尝试设立首席分析官(CAO)这样的职位，专门负责创建企业范围内的分析环境和基础设施，管理各业务单位分析模型的研发、审核及部署。

最后一点，咱们如今看到愈来愈多的中小型企业开始借助大数据分析。这些公司一般预算有限，所以它们比较中意那些现成的能够直接用于数据分析的现成软件解决方案。好比利用在线分析工具来研究网站的使用现状，优化网站设置、改善网站在搜索引擎排名，并购买付费引擎营销方案。

总结与展望

在文章的结尾之处，咱们想再次重申企业进行大数据分析所必须注意的几个问题：

从公司管理的角度来看：

(1)公司应同时关注数据体量和数据质量;

(2)持续学习和培训能填平新分析技术和新商机之间的鸿沟;

(3)分析开发团队应该包括独立的模型开发团队和模型验证团队;

(4)分析并不只仅是模型开发和验证，还包括模型的监测和回溯测试。

从技术的角度企业应该：

(1)考虑使用云服务来进行大数据分析;

(2)应该关注垂直式行业解决方案，谨慎选择开源软件;

(3)对待外包分析要慎之又慎，最好能在企业内部创建分析环境，并置于高层的管理之下。

慧都控件网年终促销最后一波，全场6折起，豪礼抢不停>>>

截止时间：2016年11月30日

更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>

详情请咨询在线客服！

客服热线：023-66090381