Hadoop安装及配置

一、虚拟机免密登录

       免密登录是为了后面启动Hadoop服务方便而操作,不然每个Hadoop服务启动都需要输入密码(如果本机已生成秘钥,则只需把id_rsa.pub的内容拷贝一份至同目录下的authorized_keys中即可)。这里我用的是一台全新的虚拟机来演示。

在这里插入图片描述
在这里插入图片描述


二、解压文件并授权

1.解压文件

        将准备好的安装包(这里用的hadoop-2.6.0版本)解压到指定文件夹下,这里我解压到了software文件夹下并且改名为hadoop260;

在这里插入图片描述
       下一步我们需要还要将hadoop的native安装包解压到hadoop的lib文件夹下的native文件夹中;

在这里插入图片描述


2.授权用户和组

       为了后续程序正常运行,我们提前改变hadoop文件的权限

在这里插入图片描述


三、配置环境变量和Hadoop

1.配置环境变量

       配置HADOOP_HOME并在path里加入bin目录和sbin目录;

在这里插入图片描述
在这里插入图片描述
       环境变量配置好之后记得重启—>source /etc/profile,之后再echo查看即可;

在这里插入图片描述


2.更改配置文件

       需要配置的xml文件在hadoop根目录的etc/hadoop文件夹下,我们进入之后开始修改;

在这里插入图片描述
       hadoop-env.sh这里只需要将JAVA_HOME配置好即可;
在这里插入图片描述
       之后还有两个xml文档需要配置;
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
       上述步骤均配置完成之后,我们需要对hadoop进行初始化(我的在hadoop260/sbin目录下);

在这里插入图片描述
       初始化完毕后启动hdfs的服务;jps可以查看Hadoop的服务;

在这里插入图片描述
       验证是否成功,打开浏览器,输入虚拟机的ip地址,端口号50070,查看是否能成功登陆

在这里插入图片描述


3.Yarn配置

       需要配置的xml文件在hadoop根目录的etc/hadoop文件夹下,我们进入之后开始修改;
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
       上述配置完毕后启动yarn服务;

在这里插入图片描述

       验证是否成功,打开浏览器,输入虚拟机的ip地址,端口号8088,查看是否能成功登陆;
在这里插入图片描述

上述都成功,恭喜你!配置Hadoop全部完成!


PS:作者是一枚刚入编程的小白,如果有写错或者写的不好的地方,欢迎各位大佬在评论区留下宝贵的意见或者建议,敬上!如果这篇博客对您有帮助,希望您可以顺手帮我点个赞!不胜感谢!

原创作者:wsjslient

作者主页:https://blog.csdn.net/wsjslient