CentOS7.0+Hadoop2.7.2+Hbase1.2.1搭建教程

时间 2020-01-28

标签 centos7.0+hadoop2.7.2+hbase1.2.1 centos hadoop hbase 搭建教程栏目 CentOS 繁體版

原文原文链接

一、软件版本

　　CentOS-7.0 -1406-x86_64-DVD.iso

　　jdk-7u80-linux-x64.tar.gzjava

　　hadoop-2.7.2.tar.gznode

　　hbase-1.2.1-bin.tar.gzlinux

二、集群配置

　　主机： Master.Hadoop IP地址： 192.168.1.100
　　主机： Slave1.Hadoop IP地址： 192.168.1.101
　　主机： Slave2.Hadoop IP地址： 192.168.1.102

　　用户设置：系统用了GUI，新版非得创建一个帐户。例如随便建一个jfz，密码1，但操做时使用root(密码root)直接进行，装好后重启，之后用SSH进root。
web

三、配置本地hosts

　　输入指令：
apache

nano /etc/hosts

　　将如下数据复制进入各个主机中：

192.168.1.100  Master.Hadoop
192.168.1.101  Slave1.Hadoop
192.168.1.102  Slave2.Hadoop

　　使用如下指令在Master主机中进行测试，可以使用相似指令在Slave主机测试：

ping Master.Hadoop
ping Slave1.Hadoop
ping Slave2.Hadoop

四、关闭防火墙

　　三台机器均关闭防火墙。服务器

　　中止firewall：app

systemctl stop firewalld.service

　　禁止firewall开机启动：

systemctl disable firewalld.service

五、Java安装

（1）卸载自带的OpenJDK v1.7：

java -version
yum remove java-1.7.0-openjdk

　　重启。

（2） JDK安装：

　　在/usr下建立java文件夹，将jdk-7u80-linux-x64.tar.gz文件放到这个文件夹中。ssh

　　使用如下指令进行解压webapp

tar zxvf jdk-7u80-linux-x64.tar.gz

　　解压后能够删除掉gz文件

rm jdk-7u80-linux-x64.tar.gz

　　配置JDK环境变量：

nano /etc/profile

　　添加Java环境变量，将如下数据复制到文件底部：

export JAVA_HOME=/usr/java/jdk1.7.0_80
export JRE_HOME=/usr/java/jdk1.7.0_80/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

　　重载使配置生效：

source /etc/profile

　　验证安装成功：

java -version

　　若是出现对应版本信息，则配置成功：java version "1.7.0_80"oop

六、SSH免密码登陆

　　由于Hadoop须要经过SSH登陆到各个节点进行操做，本集群用的是root用户，每台服务器都生成公钥，再合并到authorized_keys。

（1）修改sshd_config配置

　　CentOS默认没有启动SSH无密登陆，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置。

nano /etc/ssh/sshd_config
RSAAuthentication yes
PubkeyAuthentication yes

（2）生成key

　　输入命令：

ssh-keygen -t rsa

　　生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置。

（3）合并key

　　合并公钥到authorized_keys文件，在Master服务器，进入/root/.ssh目录，经过SSH命令合并。

cat id_rsa.pub>> authorized_keys
ssh root@192.168.1.101 cat ~/.ssh/id_rsa.pub>> authorized_keys
ssh root@192.168.1.102 cat ~/.ssh/id_rsa.pub>> authorized_keys

（4）拷贝key

　　把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录。

scp authorized_keys known_hosts root@192.168.1.101:/root/.ssh
scp authorized_keys known_hosts root@192.168.1.102:/root/.ssh

（5）检证免密登录

ssh root@192.168.1.101
ssh root@192.168.1.102

　　之后就不须要输入密码了。

七、Hadoop安装流程

（1）下载hadoop安装包

　　将下载“hadoop-2.7.2.tar.gz”文件上传至到/home/hadoop目录下。

　　注意：必定要在Linux下解压，不然执行权限问题很麻烦。

（2）解压压缩包

tar -xzvf hadoop-2.7.2.tar.gz

（3）在/home/hadoop目录下建立目录

　　建立数据存放的文件夹，tmp、hdfs、hdfs/data、hdfs/name

mkdir -p tmp hdfs/name hdfs/data

（4）配置core-site.xml

　　指令：

nano /home/hadoop/hadoop-2.7.2/etc/hadoop/core-site.xml

　　内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.1.100:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
</configuration>

（5）配置hdfs-site.xml

　　指令：

nano /home/hadoop/hadoop-2.7.2/etc/hadoop/hdfs-site.xml

　　内容：

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.1.100:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>
</configuration>

（6）配置mapred-site.xml

　　指令：

nano /home/hadoop/hadoop-2.7.2/etc/hadoop/mapred-site.xml

　　内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.1.100:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.1.100:19888</value>
    </property>
</configuration>

（7）配置yarn-site.xml

　　指令：

nano /home/hadoop/hadoop-2.7.2/etc/hadoop/yarn-site.xml

　　内容：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>192.168.1.100:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.1.100:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.1.100:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.1.100:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.1.100:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
    </property>
</configuration>

　　注意：yarn.nodemanager.resource.memory-mb值要大于1024，不然影响进程！

（8）配置hadoop-env.sh、yarn-env.sh的JAVA_HOME

　　配置/home/hadoop/hadoop-2.7.2/etc/hadoop目录下：

　　hadoop-env.sh、yarn-env.sh的JAVA_HOME，不设置的话，启动不了。

export JAVA_HOME=/usr/java/jdk1.7.0_80

（9）配置slaves

nano /home/hadoop/hadoop-2.7.2/etc/hadoop/slaves

　　删除默认的localhost，增长2个从节点：

192.168.1.101
192.168.1.102

（10）传送Hadoop至其它节点

　　将配置好的Hadoop复制到各个节点对应位置上，经过scp传送：

scp -r /home/hadoop 192.168.1.101:/home/
scp -r /home/hadoop 192.168.1.102:/home/

（11）启动Hadoop

　　在Master服务器启动hadoop，从节点会自动启动。

　　进入/home/hadoop/hadoop-2.7.2目录，初始化，输入命令：

bin/hdfs namenode -format

　　所有启动：

sbin/start-all.sh

　　也能够分开启动sbin/start-dfs.sh、sbin/start-yarn.sh。

　　Hadoop环境变量配置，须要在/etc/profile 中添加HADOOP_HOME内容，以前已经配置过，因此这一步已经节省下来，那么可重启 source /etc/profile。

（12）验证Hadoop

　　jps运行成功结果：

八、Hbase安装流程

（1）复制安装包至Master节点/home/hbase目录下

　　经过SFTP或是直接拷贝至Master节点，软件推荐在Linux下解压！

（2）解压压缩包

tar zxvf hbase-1.2.1-bin.tar.gz

（3）添加到环境变量

　　将hbase添加到环境变量/etc/profile中，配环境变量方便使用指令：

nano /etc/profile

内容：

export HBASE_HOME=/home/hbase/hbase-1.2.1
export PATH=$HBASE_HOME/bin:$PATH
export HBASE_MANAGES_ZK=true 
export HBASE_CLASSPATH=/home/hbase/hbase-1.2.1/conf

（4）修改配置文件hbase-env.sh

nano /home/hbase/hbase-1.2.1/conf/hbase-env.sh

　　内容：

export JAVA_HOME=/usr/java/jdk1.7.0_80

（5）修改配置文件hbase-site.xml

<configuration>
	<property>
		<name>hbase.rootdir</name>
		<value>hdfs://192.168.1.100:9000/hbase</value>
	</property>
	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>
	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>Master.Hadoop,Slave1.Hadoop,Slave2.Hadoop</value>
	</property>
	<property>
		<name>hbase.temp.dir</name>
		<value>/home/hbase/hbase-1.2.1/tmp</value>
	</property>
	<property>
		<name>hbase.zookeeper.property.dataDir</name>
		<value>/home/hbase/hbase-1.2.1/tmp/zookeeper</value>
	</property>
	<property>
		<name>hbase.master.info.port</name>
		<value>60010</value>
	</property>
</configuration>

（6）修改配置文件regionservers：

nano regionservers

　　将文件内容设置为:

Master.Hadoop
Slave1.Hadoop
Slave2.Hadoop

（7）Hbase复制到从节点

　　差很少要成功了，别忘了最后一步！

scp -r /home/hbase/hbase-1.2.1 root@192.168.1.101:/home/hbase/
scp -r /home/hbase/hbase-1.2.1 root@192.168.1.102:/home/hbase/

（8）验证Hbase

　　一、用jps命令看进程对不对。

　　二、测试Web访问

　　　　http://Master.Hadoop:8088/

　　　　http://Master.Hadoop:50070/

　　　　http://Master.Hadoop:60010/