Hadoop集群应用于大数据分析优点和挑战

大数据分析在过去几年里很是流行。即使如此，不少组织发现，现有的数据挖掘和分析技术仍是不能胜任大数据的处理任务。对于这个question，一个可能的解决方案就是搭建Hadoop集群，但它并不适合全部状况。让咱们了解一下使用Hadoop集群的优缺点。

　　Hadoop集群是什么？

　　Hadoop集群是一种专门为存储和分析海量非结构化数据而设计的特定类型的集群。本质上，它是一种计算集群，即将数据分析的工做分配到多个集群节点上，从而并行处理数据。

　　搭建Hadoop集群的优势

　　使用Hadoop集群最大的好处在于它很是适合大数据分析。大数据通常都是分布普遍而且是非结构化的。而Hadoop很是适合这类数据是由于，Hadoop的工做原理在于将数据拆分红片，并将每一个“分片”分配到特定的集群节点上进行分析。数据没必要均匀分布，由于每一个数据分片都是在独立的集群节点上进行单独处理的。

　　Hadoop集群的另一个优势在于可扩展性。和其它任何类型的数据同样，大数据分析面临的一个重要question也是数据量的不断增长。并且大数据最大的优点在于能够实时或接近实时地进行分析处理。而Hadoop集群的并行处理能力能明显提升分析速度，但随着要分析的数据量的增长，集群的处理能力可能会收到影响。但使人欣慰的是，经过添加额外的集群节点能够有效的扩展集群。

　　Hadoop集群的第三个好处在于成本。这一点听起来彷佛有些奇怪，毕竟分析大数据是一个企业级的IT活动，一直以来企业级的IT应用从未廉价过。可是，事实证实，Hadoop集群的确是一个高性价比的解决方案。

　　Hadoop集群较为廉价有两个主要缘由。它所需的软件是开源的，这样就能够下降成本。事实上，你能够自由下载Apache Hadoop发行版。同时，Hadoop集群经过支持商用硬件控制了成本。没必要购买服务器级硬件，即可以搭建一个强大的Hadoop集群。

　　Hadoop集群的另外一个优势在于故障容错。当一个数据分片发送到某个节点进行分析时，该数据在集群其它节点上会有副本。经过这种方式，即便一个节点发生故障，该节点数据的额外拷贝仍存在于集群内的其它地方，这样，数据仍能够进行分析处理。

　　Hadoop集群的缺点

　　尽管Hadoop集群有以上众多的优势和好处，但它却并不是是对于全部企业都适用的数据分析解决方案。好比某企业的数据量相对较少，即便亟需数据分析也可能不会受益于Hadoop集群。

　　使用Hadoop集群的另一个缺点在于集群解决方案是创建在数据“可分”以及可在独立节点上进行并行处理的基础之上的。若是要作的分析不适应于并行处理环境，那么Hadoop集群就不是完成这项任务的合适工具。

　　也许使用Hadoop集群最显著的缺点在于集群的搭建、运维和支持是一个陡峭的曲线。除非刚好在你的IT部门里有Hadoop专家，不然学习如何搭建集群和执行所需的数据分析任务需耗费些时日。

　　既然如此，咱们是否应该搭建Hadoop集群呢？答案取决于你的数据分析需求是否与Hadoop集群功能相符。若是你不肯定企业可否受益于Hadoop集群，那么在提交搭建大型集群以前，能够先下载安装Apache Hadoop到多余的硬件上看看效果如何。