Hadoop的发行版除了社区的Apache hadoop外,cloudera,hortonworks,mapR,EMC,IBM,INTEL,华为等等都提供了本身的商业版本。商业版主要是提供了专业的技术支持,这对一些大型企业尤为重要。每一个发行版都有本身的一些特色,本文就各发行版作简单介绍。node
2008 年成立的 Cloudera 是最先将 Hadoop 商用的公司,为合做伙伴提供 Hadoop 的商用解决方案,主要是包括支持,咨询服务,培训。2009年hadoop的创始人 Doug Cutting也任职于 Cloudera 公司。Cloudera产品主要为CDH,Cloudera Manager,Cloudera Support。CDH是Cloudera的hadoop发行版,彻底开源,比Apache hadoop在兼容性,安全性,稳定性上有加强。Cloudera Manager是集群的软件分发及管理监控平台,能够在几个小时内部署好一个hadoop集群,并对集群的节点及服务进行实时监控。Cloudera Support便是对hadoop的技术支持。cloudera的标价为每一年每一个节点4000美圆。算法
2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建的公司。公司成立之初吸纳了大约25名至30名专门研究Hadoop的雅虎工程师,上述工程师均在2005年开始协助雅虎开发Hadoop,这些工程师贡献了hadoop 80%的代码。。雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任Hortonworks的首席执行官。Hortonworks 的主打产品是Hortonworks Data Platform (HDP),也一样是100%开源的产品,HDP除了常见的项目外还包含了Ambari,一款开源的安装和管理系统。HCatalog,一个元数据管理系统。数据库
HDP的Datasheet中描述的版本特色是编程
集成和测试封装 – HDP包括稳定版本的Apache Hadoop的全部关键组件,集成和测试封装。api
安装方便– HDP包括一个现代化的,直观的用户界面的安装和配置工具。浏览器
管理和监控服务 – HDP包括直观的仪表板,为监测集群和创建警示。安全
数据集成服务 – HDP包括Talend大数据平台,领先的开源整合工具,轻松链接Hadoop集群,而无需编写Hadoop代码的数据系统集成工具。性能优化
元数据服务 – HDP包括的Apache HCatalog,从而简化了Hadoop的应用程序之间和Hadoop和其余数据系统之间的数据共享。网络
高可用性– HDP与成熟的高可用性解决方案的无缝集成。架构
订价以集群为基础,每10个节点每一年为12500美圆。
cloudera和hortonworks均是在不断的提交代码完善Apache hadoop,而2009年成立的MapR公司在Hadoop领域显得有点特立独行,它提供了一款独特的发行版 。Hadoop在性能(在当前Hadoop的设计中,全部的meta data操做都要经过集中式的Namenode来进行,Namenode有多是性能的瓶颈;M/R 应用程序须要经过DataNode来访问HDFS, 这就涉及到格外的进程切换和网络传输开销),可靠性与扩展性(namenode,jobtracker单点问题),企业级应用上的弱点(好比彻底可读写的文件系统,snapshot,mirror等等)各大厂商均知,MapR则认为,Hadoop的这些缺陷来自于其架构设计自己,小修小补不能解决问题。他们选择了一条艰可贵多的路: 用新架构重写HDFS,同时在API级别,和目前的Hadoop 发行版保持兼容。这家2009年成立的创业公司,在蛰伏了两年以后,终于一举成名,大放异彩。他们成功的“构建一个HDFS的私有替代品,这个替代品比当前的开源版本快三倍,自带快照功能,并且支持无Namenode单点故障(SPOF),而且在API上和兼容,因此能够考虑将其做为替代方案。” mapR版本再也不须要单独的namenode机器,元数据分散在集群中,也相似数据默认存储三份。也再也不须要用NAS来协助namenode作元数据备份,提供了机器使用率。还有个重要的特色的可使用nfs直接访问hdfs,提供了与旧有应用的兼容性。镜像功能也很适合作数据备份,并且支持跨数据中心的镜像,快照功能对于数据的恢复做用明显。据报道mapR标价也为每一年每一个节点4000美圆。
mapR有免费和商业两个版本,免费版本在功能上有所缩减。
EMC的Greenplum HD是基于mapR版本二次开发改造而成,特色同mapR。
IBM在去年5月推出了InfoSphere BigInsights软件。该软件包括Apache Hadoop发行版、面向MapReduce编程的Pig编程语言、针对IBM的DB2数据库的链接件以及IBM BigSheets,后者是一种基于浏览器的、使用电子表格隐喻(spreadsheet-metaphor)的界面,用于探究和分析Hadoop里面的数据。IBM在平台管理,安全认证,做业调度算法,与DB2及netezza的集成上作了加强。从IBM中国开发中心信息管理总经理朱辉下面这句话就能够看出IBM对于biginsights的定位:BigInsights并无替代OLAP(Online Analytical Processing)或OLTP(Online Transaction Processing)应用程序,但它能够整合其中,用于“过滤大量原始数据并合并结果,将结果以结构化数据的形式保存在DBMS或数据仓库中”。
传统的硬件厂商,华为,Intel也提供hadoop的版本
Intel 的商业版本,主要是强调其能提供全面的软硬件解决方案设计,针对硬件具备更好的性能优化,以及提供集群管理工具和安装工具简化了 Hadoop 的安装和配置,可以提供项目规划到实施各阶段专业的咨询服务,实际中采购Intel版本貌似动力不足。
华为在硬件上具备自然的优点,在网络,虚拟化,PC机等都有很强的硬件实力。华为的hadoop版本基于自研的Hadoop HA平台,构建NameNode、JobTracker、HiveServer的HA功能,进程故障后系统自动Failover,无需人工干预,这个也是对hadoop的小修补,远不如mapR解决的完全。华为在hadoop社区中的Contributor和committer也是国内最多的,算是国内技术实力较强的公司。