hadoop快速入门之DKH安装准备

前几天去参加了一个线下的聚会,参加聚会的基本都是从事互联网工做的。会上有人提到了区块链,从而引起了一场关于大数据方面的探讨。我也是从去年才正式接触大数据,一直在学习hadoop。相信接触过hadoop的人都知道,。单独搭建hadoop里每一个组建都须要运行环境、修改配置文件、测试等过程,每一个组件几乎都有坑,尤为是让新手甚是苦恼。此前有在微博上与一些博友了解过他们的配置过程,有的配置了好几天愣是没成功。服务器

Hadoop运行环境配置的坑只有走过的人才懂,不过三月份的时候发现了一个比较有意思的国产hadoop发行版——大快开源的发行版DKHadoop。DKHadoop将开源社区里多种经常使用组建包括:HDFS,Hbase,Storm,Flume,Kafka,Mahout,ES等都集成到了这一个平台里,因此整个运行环境的配置安装就大大被简化了。网络

hadoop快速入门

我把此前安装的过程整理了一下分享给感兴趣的朋友,主要分为:准备阶段、服务器操做系统配置、DKH系统安装、常见问题解决方法四个部门。因为文章偏于较长,本篇重点为你们分享第一部分——准备阶段。并发

第一部分:准备工做工具

  1. 大数据平台所需配置:

(1) 系统:CentOS 6.5 64位(需默认安装Desktop)oop

(2) CPU :intel E3及以上。学习

(3) 内存:建议最小8G,用图计算建议32G,推荐128G。区块链

(4) 硬盘:256G以上,推荐使用固态硬盘。测试

(5) 系统分区要求: 如无特殊需求,除swap分区外,可将剩余空间所有分配 到/ (根) 分区大数据

(6) 网络要求:如无特殊状况,尽可能能够接入外网。操作系统

(7) 至少三台服务器(三台服务器名字任意起,密码须一致)。

(8)安装使用root用户做为默认用户

  1. 远程上传和远程链接工具:
  1. 若直接使用我的PC开启的虚拟机做为服务器的基础,直接拷贝到虚拟机下便可。
  2. 如果使用机房服务器做平台搭建的服务器,如若不能直接接触到服务器,则须要使用远程工具链接并发送安装包。

第一部分的主要是安装前的准备工做,除了作好上述这些,还须要去下载一下安装版本。我是直接搜索找到了大快的官网下载的一个三节点的发行版。须要的朋友也能够搜索主要一下,若是没有找到能够留言给我。

相关文章
相关标签/搜索