centos7搭建伪分布式集群

centos7搭建伪分布式集群

须要

　　centos7虚拟机一台；

　　jdk-linux安装包一个

　　hadoop-2.x安装包1个（推荐2.7.x）

 

1、设置虚拟机网络为静态IP（最好设成静态，为以后编程提供方便，不设置静态ip也能够）

一、进入网络配置查看ip

 

二、选择NAT模式链链接

三、点击NAT设置，记住网关IP，后面要用到

 

 

四、进入终端，输入命令： cd  /etc/sysconfig/network-scripts,而后 vim ./ifcfg-eth0,（有的虚拟机是文件是：ifcfg-ens33）并进行以下设置，

【IPADDR为静态ip地址，格式必须与网关IP的前三位同样：192.168.13.X】 X在1-255之间

GATWAY是以前记得的网关IP.

其余的如图所示。

 

 

 五、重启网络服务：service network restart

 

 

 六、网络测试：ping网关，ping外网。都能ping通表示网络正常，大功告成（前提主机联网）

成功标志如图：

 

 

 

2、配置ssh免密登陆（开启集群服务时没必要每次都输入密码）

　　一、命令：ssh-keygen    一路回车。遇到overwrite(覆盖写入)输入y

　　

 

 

 　　二、将生成的密钥发送到本机地址：ssh-copy-id localhost

　　

 

 

 　　三、测试是否能够免密登陆。出现下图解果就OK;

　　

 

 

 3、安装java环境（jdk）

一、卸载虚拟机自带的dk;　

　　肯定JDK版本

　　rpm –qa | grep jdk

　　rpm –qa | grep gcj

　　

　　切换到root用户，根据结果卸载java

　　yum -y remove java-1.8.0-openjdk-headless.x86_64

　　yum -y remove java-1.7.0-openjdk-headless.x86_64

二、测试jdk是否卸载干净 java -version

　　

 

 

三、安装jdk.

　　将jdk-linux-xxx解压到某一个文件夹（记好路径，不要有中文）

　　

　　经过pwd命令查看当前路径

　　

 

 

　　 

 

　　

 

 

四、配置环境变量

　　在root用户下，将/etc/profile的权限赋给普通用户：chown -R zck:zck /etc/profile  (zck是个人普通用户名，否则普通用户没法修改环境变量)

　　

　　

　　转到普通用户(zck)下，修改环境变量：vim /etc/profile    （注意本身的jdk路径）

　　

 

 

 　　

 

 

#java export  JAVA_HOME=/home/hadoop/app/jdk1.8.0_141 export JAVA_JRE=JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_JRE/lib export PATH=$PATH:$JAVA_HOME/bin

五、保存退出，并使/etc/profile文件生效：source  /etc/profile

 

 

 

 六、测试jdk环境：java -version

 

 

 4、安装hadoop

　　一、解压hadoop(同jdk)

　　二、配置环境变量(基本步骤与jdk同样)。

#hadoop export HADOOP_HOME=/home/zck/software/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

 

 

 三、测试(保存以后要source /etc/profile   否则环境变量修改不生效)

 

 

 5、搭建伪分布式

修改5个配置文件

进入文件目录 ../hadoop/etc/hadoop

 

 

 

一、修改core-site.xml配置文件 (建议将localhost修改成你以前设置的静态ip)

<configuration> <property>         <name>fs.defaultFS</name>         <value>hdfs://localhost:9000</value> </property> <property>         <name>hadoop.tmp.dir</name>         <value>file:/data/tmp</value> </property> <property>         <name>hadoop.proxyuser.hadoop.hosts</name>         <value>*</value> </property> <property>         <name>hadoop.proxyuser.hadoop.groups</name>         <value>*</value> </property> </configuration>

二、修改hdfs-site.xml配置文件

<configuration> <property>         <name>dfs.namenode.name.dir</name>         <value>/data/dfs/name</value>         <final>true</final> </property> <property>         <name>dfs.datanode.data.dir</name>         <value>/data/dfs/data</value>         <final>true</final> </property> <property>         <name>dfs.replication</name>         <value>1</value> </property> <property>         <name>dfs.permissions</name>         <value>false</value> </property> </configuration>

三、修改hadoop-env.sh配置文件（改为jdk位置）

 

 

 

 

四、修改mapred-site.xml.template配置文件（先重命名为mapred-site.xml）

<configuration> <property>         <name>mapreduce.frameword.name</name>         <value>yarn</value> </property> </configuration>

五、修改yarn-site.xml配置文件

<property>         <name>yarn.nodemanager.aux-servies</name>         <value>mapreduce_shuffle</value> </property> </configuration>

使修改生效，命令：sourec /etc/profile

 

六、格式化namenode

切回到hadoop目录，输入以下命令：bin/hdfs  namenode -format

 

 启动hadoop伪分布式集群：sbin/start-all.sh

 

 启动完毕输入jps查看