毋庸置疑,现如今是属于大数据(Big Data)的,革命性的时代。从社交媒体到企业,每时每刻都在产生大量的数据。无所作为,从而把这样的宝藏白白浪费掉是及其愚蠢的。企业已经学会了收集大数据以获取更高的利润,并提供更好的服务以及更深入地了解其目标客户。
大数据主要是指企业中日常生成的,大量的有组织以及无组织的数据。在这种情况下,组织如何处理这些数据,与数据量是无关的。对大数据分析可以产生改善战略商务决策(Strategic business decision-making)的洞察力。
如前所述,大数据的价值不在于您拥有多少信息,而在于您要如何利用它。您可以从任何一个点收集数据(并对其进行检查),以找到下面四种情况的解决方案:
当您耗费大量精力分析聚合大数据时,下面这些业务关联的任务就可能实现:
大数据可以分为以下三大类。
一些共同特征如图 2 所示。
大数据架构包含一致的、可扩展的,以及完全计算机化的数据管道(Data pipelines)。构建这种基础架构需要具有深入了解堆中的每一层的能力,即从集群设计(Cluster design)开始,直到设置负责处理数据的顶级链(Top chain)。图 3 展示了堆栈的复杂性以及数据管道工程如何触及其每个部分。
在图 3 中,数据管道收集原始数据并将其转化为有价值的东西。同时,大数据工程师必须计划好数据会发生什么情况,数据存储在集群中的方式,内部许可的访问方式,用于处理数据的设备,以及提供给外界访问的模式。那些设计和实现这种架构的人被称为大数据工程师。
众所周知,大数据的主题非常广泛,并且渗透到了许多新技术的发展中。以下对一些技术的概述旨在帮助用户对大数据进行改造。
1. MapReduce(映射化简):这使得任务的实现具有能够跨越数千台服务器的可扩展性。
2. Hadoop:这是 MapReduce 最令人钦佩的执行方式,它是一个完全开源的处理大数据的平台。Hadoop 足够灵活,它能够处理多种数据源,例如聚合数据以进行大规模处理,从数据库读取数据等。
3. Hive:这是一个类似 SQL 的链接,允许 BI(商业智能) 应用程序在 Hadoop 集群旁运行查询。这是由 Facebook 开发的,它已经被开源了一段时间,并且它还是 Hadoop 框架的更高层次的概念。此外,它允许每个人对存储在 Hadoop 集群中的数据进行查询,并改进了 Hadoop 的功能,使其成为了 BI 用户的理想选择。
处理大数据的能力具有多种益处。
虽然很容易陷入各种关于大数据的炒作之中,但它未得到充分利用的原因之一就是,在使用到它的技术中仍有许多挑战需要解决。其中一些挑战如下:
大数据的可访问性(Accessibility),便宜的硬件产品,以及新的信息管理和分析软件聚合在一起,在数据分析的历史中创造了独特的时刻。我们现在有能力快速且经济高效地审查这些惊人的数据集,这是有史以来的第一次。这种能力象征着真正的飞跃,同时也象征着一个在工作效率、收入和成功方面大幅进步的机会。
http://www.q-wei.cn/ http://news.q-wei.cn/ http://www.yichaonet.cn/ http://news.yichaonet.cn/ http://www.vxjezfv.cn/ http://news.vxjezfv.cn/ http://www.xibiyo.com.cn/ http://news.xibiyo.com.cn/ http://www.9208361.org.cn/ http://news.9208361.org.cn/ http://www.9111316.cn/ http://news.9111316.cn/ http://www.bluelf.com.cn/ http://news.bluelf.com.cn/ http://www.qqq136com.cn/ http://news.qqq136com.cn/ http://www.2819w.cn/ http://news.2819w.cn/ http://www.9019758.org.cn/ http://news.9019758.org.cn/ http://www.wydaogou.cn/ http://news.wydaogou.cn/ http://www.ralhys.cn/ http://news.ralhys.cn/