扣丁学堂大数据培训简述Hadoop以后大数据的将来在谁的身上

现在想要学习大数据开发的人有不少，因此有很多的小伙伴参加大数据培训学习大数据，本篇文章小编就给读者们探讨一下Hadoop以后大数据的将来在谁的身上，对大数据开发感兴趣的小伙伴们就随小编来了解一下吧。

在实时数据世界里，为何咱们还这么执着于Hadoop? 根据451 Research调查数据显示，围绕批处理架构的Hadoop仍然是大数据的表明技术，尽管其声誉仍然超过实际部署状况。下面咱们来具体了解一下。

批处理不是重点

Cloudera的Doug Cutting是一个很是聪明的人，也是开源开发人员，Hadoop、Lucene等大数据工具的开发都有他的功劳。

虽然Cutting认可实时流媒体技术的重要性，但他并无否定面向批处理的Hadoop的价值，他表示：

并非由于咱们以为批处理是最好的，因此Hadoop围绕批处理而构建。批处理(特别是MapReduce)很天然是第一步，由于它相对容易部署，并提供很重要的价值。在Hadoop以前，没有办法使用开源软件在商品硬件存储和处理千兆字节。Hadoop的MapReduce是很大的进步。

咱们很难说清楚大数据的商品化对这个世界的重要性。这并非说在Hadoop以前咱们没有存储和分析大量数据，而是Hadoop让咱们很是廉价地实现这个过程。

总之，Hadoop民主化了大数据。

转向流数据?

然而，Hadoop并无让大数据分析变得容易。正如DataStax首席布道者Patrick McFadin表示，从企业数据挖掘价值并无那么简单：

咱们都据说过存储和分析PB级数据的投资回报率的问题。谷歌、雅虎和Facebook都在从中创造惊人的价值，而大部分企业都在试图研究如何分析全部数据，第一：收集全部数据;第二：……;第三：利润!

在数据收集和利润之间有不少麻烦的步骤。随着企业试图加快对实时数据的分析能力，新技术为他们提供了可能。

McFadin发现了这个新大数据堆栈的关键要素。首先是一个排队系统，Kafka、RabbitMQ和Kinesis等。而后是流处理层，这可能包括Storm、Spark Streaming或者Samza。对于高速存储，企业常常转向Cassandra、HBase、MongoDB或者MySQL等关系型数据库。

最有趣的是批处理仍然有用武之地。McFadin表示，批处理如今可用于处理，即汇总和更深刻的分析。批处理和实时的融合被称为“Lambda架构”，这涉及让三个元素和谐地共处：批处理、速度和服务。

换句话说，批处理仍然有用。

淘汰批处理

但并非每一个人都赞成。Zoomdata公司首席执行官和联合创始人Justin Langseth认为Lambda是“没必要要的”，并称，“如今有端到端工具能够从采购、运输、存储到分析和可视化来处理数据，而不须要批处理”。

在他看来，批处理是大数据过去的遗留物：

实时数据显然最好应该做为流来处理，并且还能够加载历史数据，正如你的DVR能够加载电影《飘》或者上周的电视节目《美国偶像》到你的电视。这种区别很重要，Zoomdata认为将数据做为流来分析能够增长可扩展性和灵活性，而不管数据是实时仍是历史数据。

然而，超越可扩展性和灵活性好处的多是将批处理从大数据过程移除所带来的简单性。Langseth认为，“当你不须要担忧批处理窗口以及从批处理故障中恢复时，这能够极大地简化大数据架构。”

流分析取代Hadoop?

Cutting称，尚未那么快。

Cutting认为将来Hadoop等技术并不会彻底被淘汰，流分析会得以发展，Cloudera的Enterprise Data Hub也是同样。事实上，他不认为会普遍转向流分析，而是为你们带来了又一种选择。

更有趣的是，大数据的大爆炸会让行业催生出一些好方法来应对数据处理。

我认为咱们不会再那么频繁地看到Spark这样的主要技术增长，随着时间的推移，咱们将会标准化这些工具，为大多数人提供功能来知足其大数据应用需求。Hadoop带来了技术爆炸，但咱们可能会进入比较正常的演化过程，在各行业普遍使用这些技术。

DataStax社区经理Scott Hirleman赞成说：“批处理并不会消失，老是会须要对大量数据的大规模分析。”如今你们对流分析有极大的兴趣，但称如今还不清楚这种趋势对大数据计划的影响。

总之，流分析彻底是关于“和”，而不是“或者”，这是对围绕批处理系统(例如Hadoop)的很好的补充，但这确定不会彻底取代Hadoop。

想要了解更多关于大数据开发方面内容的小伙伴，请关注扣丁学堂大数据培训官网、微信等平台，扣丁学堂IT职业在线学习教育有专业的大数据讲师为您指导，此外扣丁学堂老师精心推出的大数据视频教程定能让你快速掌握大数据从入门到精通开发实战技能。