今天开始采用的十大大数据技术

大数据正在爆炸式增加，天天都有来自世界各地的公司涌现出新的项目。

好消息是，全部技术都是开源的，可供您今天开始采用。

Hadoop

稳固，企业实力和其余一切的基础。您须要YARN和HDFS以及Hadoop的基础架构做为主要数据存储并运行关键的大数据服务器和应用程序

Spark

易于使用，支持全部重要的大数据语言（Scala，Python，Java，R），一个庞大的生态系统，快速增加，易于微缩/批处理/ SQL支持。这是另外一个明智的选择。

在这里仍是要推荐下我本身建的大数据学习交流群:529867072，群里都是学大数据开发的，若是你正在学习大数据 ，小编欢迎你加入,你们都是软件开发党，不按期分享干货（只有大数据软件开发相关的），包括我本身整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深刻大数据的小伙伴加入。

NiFi

• NSA的工具，容许从这么多来源轻松地进行数据摄取，存储和处理，只需极少的编码和灵活的用户界面。来自社交媒体，JMS，NoSQL，SQL，Rest / JSON Feeds，AMQP，SQS，FTP，Flume，ElasticSearch，S3，MongoDB，Splunk，Email，HBase，Hive，HDFS，Azure Event Hub，Kafka等的数十种来源。若是没有您须要的源或接收器，那么为您编写本身的处理器是直接的Java代码。您工具箱中的另外一个伟大的Apache项目。这是瑞士军刀大数据工具。

Apache Hive 2.1

Apache Hive一直是Hadoop上的SQL解决方案。经过最新版本，性能和功能加强，Hive成为大数据SQL的解决方案。

Kafka

• 大数据系统之间异步分布式消息传递的选择。它融入了大多数堆栈。从Spark到NiFi再到第三方工具，从Java到Scala，它是系统之间的一个很好的粘合剂。这须要在你的堆栈中。

Phoenix

HBase -开源的BigTable，大量公司致力于HBase并使其规模庞大。NoSQL由HDFS支持，并与全部工具完美集成。在HBase上添加凤凰城的建设正在使其成为NoSQL的首选。这为HBase添加了SQL，JDBC，OLTP和操做分析。

Zeppelin

• 易于集成的笔记本工具，用于处理Hive，Spark，SQL，Shell，Scala，Python以及大量其余数据探索和机器学习工具。它很是容易使用，也是探索和查询数据的好方法。该工具正在得到支持和功能。他们只须要提高他们的图表和绘图。

H2O

H2O填补了Spark的机器学习的空白，而且正常工做。它能够完成您所需的全部机器学习。

Apache Beam

Java中数据处理管道开发的统一框架。这容许您也支持Spark和Flink。其余框架将上线，您没必要学习太多框架。

Stanford CoreNLP

天然语言处理是巨大的，只是增加更多。斯坦福大学正在继续改进他们的框架。

显然，有大量的大数据项目，所以您最好的选择是从基础分发开始，该分布包含并测试项目的各个版本，并确保它们与安全性和管理平稳地协同工做。我建议使用Hortonworks Connected Data Platforms做为您的基础。若是咱们进入前20名，我会添加更多项目，特别是Storm， SOLR，Apache Oozie和Apache HAWQ。下面有不少很棒的技术，在大多数状况下，你没有看到或知道像Apache Tez（虽然你须要在运行Hive时配置它），Apache Calcite，Apache Slider，Apache Zookeeper和 Livy。这些项目对于运行大数据基础架构相当重要。