从零自学Hadoop(06)：集群搭建

阅读目录

• 序
• 集群搭建
• 监控
• 系列索引

本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文连接，谢谢合做。

文章是哥(mephisto)写的，SourceLink

 

序

　　上一篇，咱们把Ambari的环境基本搭建好了，那么咱们趁热打铁，打造咱们的第一个HDP集群，这样，离咱们下一步就愈来愈近了，在安装中仍是会碰到不少想不到的状况的。因此，注意分析，找到解决方法很重要。

　　对了，这里咱们仍是多搭建了一个机器H34,怕集群机器不够。你们按照原来的步骤在作一个吧。

集群搭建

一：登录

　　使用咱们设置的Ambari服务器登录，还记得么，在H30上面。

二：主界面

　　咱们看到圈起来的地方就是咱们要搭建集群的地方。

 

三：新建集群

　　这里，咱们使用MyCluster做为咱们第一个集群的名称。

四：选择HDP版本和源

　　咱们固然选择最新的HDP2.3，玩就玩最新的，要不总是在别人后面，多很差啊。

　　这里咱们得设置HDP和 HDP-UTILS的源，咱们已经搭建好了仓库，能够直接使用本地源了。

五：将SSH私有Key放到本机

　　因为是页面登录，固然若是H30开启了GUI界面，是能够不用这个操做的。

　　目前咱们使用的没有GUI界面的Linux，因此，得在浏览器使用的机器上能使用的到ssh private key。

　　过程很简单，就不上图了。

六：选择带集群的机器

　　这里咱们选择了事前准备好的H31,H32,H33这3台机器，因为本机的性能通常，很快内存，IO就占满了，因此没有使用不少的机器作集群。

七：修改ambari.repo文件

vim /etc/yum.repos.d/ambari.repo

　　将线上库改为本地的http资源。

八：Confirm Hosts

　　核实主机群。确保这里待集群主机有符合的运行环境。

九：选择待安装库

　　咱们根据本身的须要来选择带安装的。

十：集群结构搭建

　　咱们选择H31做为主NameNode,H32做为Second NameNode。

十一：集群结构搭建2

　　选择H31，H32做为NodeManager,H33,H34做为DataNode

十二：自定义服务群

　　这里，一半NameNode须要比较大内存的，可是没办法，因此 这里也不自定义修改了，就那么多，全用了。

 

十三：Review

　　Review下咱们的配置状况。

十四：Deploy

　　开始安装等环节了。

十五：Deploy2

　　咱们能够看到success了。

 

 

十六：Summary

　　安装过程的总结。

监控

一：仪表盘

　　在这里，咱们能够全面，直观的看到整个集群的运行状况，能够大大的提升了运维的效率。

二：服务

　　在这里，能够看到例如HDFS,Zookeeper,SparK这些服务的状况。

 

三：Hosts

　　咱们能够看到，集群中全部的主机信息，状态。

四：报警

　　若是集群中出现了什么问题，这里是能够实时的监控的到的，非常方便。

　　　　　　　　　　 　　到此，咱们这章节的内容已经完毕，基本上环境搭建的部分告一段落，后面咱们就是对HDP的应用了。

系列索引

　　【源】从零自学Hadoop系列索引

 

 

 

 

本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文连接，谢谢合做。

文章是哥(mephisto)写的，SourceLink