hadoop2.6.0汇总：新增功能最新编译 32位、64位安装、源码包、API下载及部署文档

时间 2019-12-10

标签 hadoop2.6.0 hadoop 汇总新增功能最新编译安装源码 api 下载部署文档栏目 Hadoop 繁體版

原文原文链接

本帖隐藏的内容

isn2

hadoop2.6-api
连接：http://pan.baidu.com/s/1pJLpmOz 密码：7pma

hadoop2.6-eclipse插件
因为hadoop eclipse插件跟eclipse版本有关系，最好本身编译
Hadoop2.5 Eclipse插件制做、链接集群视频、及hadoop-eclipse-plugin-2.5.0插件下载

2、部署文档

搭建hadoop2.6.0 HA及YARN HA

hadoop 2.6.0单节点-伪分布式模式安装

3、Apache Hadoop 2.6.0 新特性

Apache Hadoop 2.6.0发布了，新的稳定版，发布频率和质量愈来愈高了，增长了不少东西，从安装包的大小就能看出来，直接增长了50M，30%有木有。
下面看一下，2.6.0都有啥好东西。
Common：
1.    Hadoop Key Management Server（KMS）是一个基于HadoopKeyProvider API编写的密钥管理服务器。他提供了一个client和一个server组件，client和server之间基于HTTP协议使用REST API通讯。Client是一个KeyProvider的实现，使用KMS HTTP REST API与KMS交互。KMS和它的client有内置的安全机制，支持HTTP SPNEGO Kerberos认证和HTTPS安全传输。KMS是一个Java Web应用程序，运行在与Hadoop发行版绑定在一块儿的预先配置好的Tomcat服务器上。
2.    Tracing
HDFS-5274增长了追踪经过HDFS的请求的功能，此功能使用了开源的库，HTrace。你们能够看一下HTrace，功能很强大，Cloudera开源出来的。
HDFS：
1.    Transparent Encryption，HDFS实现了一个透明的，端到端的加密方式。一旦配置了加密，从HDFS读出数据解密和写入数据加密的过程对用户应用程序代码带来讲都是透明的。加密过程是端到端的，这意味着数据只能在客户端被加密解密。HDFS历来不存储，也不访问未加密的数据和数据加密密钥。这样知足了加密过程的两个典型的需求：at-rest encryption（静态加密，也就是说，数据持久化在像硬盘这样的媒介上），in-transit encryption（在途加密，例如，当数据在网络中传输的时候）。
2.    Storage SSD&& Memory。ArchivalStorage（档案存储器）是将计算能力与不断增加的存储能力分离。拥有高密度低成本的存储可是计算能力较低的节点将变得可用，能够在集群中作冷存储。增长更多的节点做为冷存储能够提升集群的存储能力，跟集群的计算能力无关。
MapReduce
这一部分主要是一些bug的修复和改进。增长了两个新的新特，在2.5.2里已经有所描述了。这里在简单看一下。
1.    ResourceManger Restart
2.    容许AM发送历史事件信息到timeline server。
YARN
1.    NodeManager Restart：这个特性可使NodeManager在不丢失运行在节点中的活动的container的状况下从新启动。
2.    Docker Container Executor：DockerContainer Executor（DCE）容许YARN NodeManager在Docker container中启动YARN container。用户能够指定他们想用来运行YARN container的Docker的镜像。这些container提供了一个能够自定义的软件环境，用户的代码能够运行在其中，与NodeManager运行的环境隔离。这些运行用户代码的container能够包含应用程序须要的特定的库，它们能够拥有与NodeManager不一样版本的Perl，Python甚至是Java。事实上，这些container能够运行与NodeManager所在的OS不一样版本的Linux。尽管YARN container必须定义运行Job所需的全部的环境和库，可是NodeManager中的全部的东西都不会共享。
Docer为YARN提供了一致和隔离两种模式，一致模式下，全部的YARN container将拥有相同的软件环境，在隔离模式下，无论物理机器安装了什么都不干扰。

4、发布Apache Hadoop 2.6.0亮点——异构存储及hadoop2.7.0展望

发布Apache Hadoop 2.6.0
——异构存储，长时间运行的服务与滚动升级支持html

我很高兴地宣布，在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt！node

特别是，咱们很高兴在此版本中相关的三个主要片：异构存储在HDFS使用SSD和内存层，支持长时间运行在YARN服务和滚动升级，将升级您的集群软件，而后从新启动升级的节点而无需关闭群集或丢失正在进行的工做。YARN做为其架构中心，Hadoop的不断吸引新的引擎在数据平台中运行，做为组织想要在一个单一的存储库高效地存储数据，并与它同时以不一样的方式进行交互。apache

很是感谢全部的贡献者和提交这些人所合做过这个版本，共有近900个 JIRA问题在四个方面解决的：
•Hadoop通用：231个 JIRA问题解决
•Hadoop的HDFS：305个 JIRA问题解决
•Hadoop的YARN：290个 JIRA问题解决
•Hadoop的MapReduce的：70个 JIRA问题解决ubuntu

Apache Hadoop2.6.0的亮点api

如下是有关的最重要的特征的一些细节。对于功能，改进和bug修复的完整列表，请参阅发行说明：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/releasenotes.html。安全

增强支持异构存储层的HDFS服务器

管理员能够在一个限定的Datanode跨磁盘存储层，以及应用程序可利用的API将数据存储到这些不一样的存储层。这意味着管理员能够优化他们的应用程序经过使用Hadoop运行：
•在SSD存储层以提升读/写延迟
•内存存储层进行快速读/写要么临时数据或故障的应用程序（如星火，TEZ等）
•归档存储层，以提升存储效率。网络

支持长时间运行的服务在YARN架构

Apache Hadoop2.6.0包括加强了核心Apache Hadoop YARN平台，使长期存在的服务（如Apache Storm，Apache Samza，Apache Kafka或Apache HBase），能够在YARN中运行，并充分利用其优点的容错，安全性和易维护性。

Apache Hadoop最初架构，支持批量处理数据。但有些应用“永远在线”，随时准备处理输入数据。例如，Apache Storm必须准备在一天中的任什么时候间实时处理数据流，在一年中的任何一天。

用Hadoop2.6.0，集群如今能够利用相同的基础设施安排，执行和管理全部期限的多个工做负载。长住服务，如 Storm和HBase能够和平共处的一块儿是在特定的时间点（如Apache Hive或Apache Pig），用于特设工做应用程序。

滚动升级在YARN工做，保留从新启动

新的工做，维护重启功能可让应用程序保持其完成和正在进行的国家，在一个节点故障或重启的脸。 YARN如今能够提供滚动以最小的服务质量降低用于运行应用程序的升级支持。已完成或正在进行中的应用工做节点重启过程当中保持不变，进度回升，而没必要从头开始从新启动全部任务。

展望Apache Hadoop2.7版本

为ApacheHadoop的下一个版本的主要驱动力正在向JDK7+即咱们如今要求使用JDK7（HADOOP-10530：https://issues.apache.org/jira/browse/HADOOP-10530）的ApacheHadoop的前进，也支持JDK8做为一个运行时（HADOOP-11090：https://issues.apache.org/jira/browse/HADOOP-11090）。

在ApacheHadoop社区开展的其余重要活动有：
•在HDFS进行纠删码支持 -  HDFS-7285：https://issues.apache.org/jira/browse/HDFS-7285
•支持磁盘YARN调度和隔离的资源 -  YARN-2139：https://issues.apache.org/jira/browse/YARN-2139
•容器资源委派延长YARN资源管理 -  YARN-1488：https://issues.apache.org/jira/browse/YARN-1488

与往常同样，你能够沿着发展，经过跟踪路线图的Wiki：http://wiki.apache.org/hadoop/Roadmap 的Apache Hadoop跟随。