centos7+cdh5.10.0搭建

时间 2019-11-18

标签 centos7+cdh5.10.0 centos cdh 搭建栏目 CentOS 繁體版

原文原文链接

1、选择环境：

1.说明html

本次部署使用台机器，3台用于搭建CDH集群，1台为内部源。内部源机器是能够链接公网的，能够提早部署好内部源，本次部署涉及到的服务器的hosts配置以下：java

192.168.10.114 sp-04node

192.168.10.115 sp-05python

192.168.10.116 sp-06mysql

本次安装为cdh5.10.0linux

须要centos版本：web

Jdk版本：jdk-8u73-linux-x64.tarsql

参考地址：https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_jdkshell

2、环境准备：

当前环境属于从新作完系统情况（在不作特殊说明状况下如下配置三台服务器均作相同或类比操做）数据库

1、更改hosts文件（我的习惯）

vim /etc/hosts

192.168.10.114 sp-04

192.168.10.115 sp-05

192.168.10.116 sp-06

2、修改主机名称

从新链接

三、建立新用户hadoop设置密码

首先用adduser命令添加一个普通用户，命令以下：
#adduser hadoop //添加一个名为tommy的用户
#passwd hadoop //修改密码
Changing password for user tommy.
New UNIX password: //在这里输入新密码
Retype new UNIX password: //再次输入新密码
passwd: all authentication tokens updated successfully.

adduser hadoop

passwd hadoop

三、免密码登陆（因步骤相同因此把原来写的直接复制过来）

主要操做步骤：

主节点执行命令生成密钥：ssh-keygen -t rsa -P ""

2、进入文件夹cd .ssh (进入文件夹后能够执行ls -a 查看文件)

3、将生成的公钥id_rsa.pub 内容追加到authorized_keys（执行命令：cat id_rsa.pub >> authorized_keys）

从节点配置

一、以一样的方式生成秘钥（ssh-keygen -t rsa -P "" ），而后sp-02、sp-03、sp-04、sp-05和sp-06将生成的id_rsa.pub公钥追加到sp-01的authorized_keys中）

执行命令scp id_rsa.pub sp-01:/home/hadoop/.ssh/id_rsa.pub.s1

（ps：id_rsa.pub.s1可视状况定义sn；如下相同只以s1为例）

2、进入m1执行命令：cat id_rsa.pub.s1 >> authorized_keys

三、最后将生成的包含三个节点的秘钥的authorized_keys 复制到sp-02、sp-03、sp-04、sp-05和sp-06的.ssh目录下

scp authorized_keys sp-02:/home/hadoop/.ssh/

测试：ssh 主机名例：ssh sp-02

免密码登陆遇到的问题：

作完以上步骤时可能会没法互相免密码登陆

解决方案

1、chmod 600 /home/hadoop/.ssh/authorized_keys

2、chmod 700 /home/hadoop/.ssh/

三、service sshd restart（ps：注意用户权限问题）

时间同步：

使用ntpdate搭建时间同步

yum -y install ntpdate

ntpdate 210.72.145.44

关闭防火墙（注意centos 6 是iptables）

[root@sp-05~]# systemctl stop firewalld

[root@sp-05~]# systemctl disable firewalld

rm '/etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service'

rm '/etc/systemd/system/basic.target.wants/firewalld.service'

[root@sp-05~]# systemctl status firewalld

firewalld.service - firewalld - dynamic firewall daemon

Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled)

Active: inactive (dead)

3、内部源搭建：

JDK环境
版本：jdk-8u101-linux-x64.rpm
下载地址：oracle官网

CDH安装相关的包

cloudera manager包：cloudera-manager-centos7-cm5.10.0_x86_64.tar.gz

下载地址：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.10.0_x86_64.tar.gz

CDH下载（注意centos要下载el7的）

CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel

CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel.sha1

manifest.json

下载地址：

http://archive.cloudera.com/cdh5/parcels/5.10.0/

开始安装jdk（因每一台都要安装故展现机器编号无所谓）

将下载好的jdk上传到服务器中

解压 tar -zxvf jdk-8u73-linux-x64.tar.gz

配置环境变量

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_73

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

让配置文件生效source /etc/profile

如下是我安装须要用到的文件

安装MySQL（只在其中一台）

安装mysql
centos7自带的是mariadb，须要先卸载掉

rpm -qa | grep mariadb

rpm -e --nodeps mariadb-libs-5.5.52-1.el7.x86_64

1、配置YUM源

在MySQL官网中下载YUM源rpm安装包：http://dev.mysql.com/downloads/repo/yum/

# 下载mysql源安装包shell> wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm# 安装mysql源shell> yum localinstall mysql57-community-release-el7-8.noarch.rpm

检查mysql源是否安装成功

shell> yum repolist enabled | grep "mysql.*-community.*"

看到上图所示表示安装成功

2、安装MySQL

shell> yum install mysql-community-server

3、启动MySQL服务

shell> systemctl start mysqld

查看MySQL的启动状态

shell> systemctl status mysqld

● mysqld.service - MySQL Server

Loaded: loaded (/usr/lib/systemd/system/mysqld.service; disabled; vendor preset: disabled)

Active: active (running) since 五 2016-06-24 04:37:37 CST; 35min ago

Main PID: 2888 (mysqld)

CGroup: /system.slice/mysqld.service

└─2888 /usr/sbin/mysqld --daemonize --pid-file=/var/run/mysqld/mysqld.pid

6月 24 04:37:36 localhost.localdomain systemd[1]: Starting MySQL Server...6月 24 04:37:37 localhost.localdomain systemd[1]: Started MySQL Server.

4、开机启动

shell> systemctl enable mysqldshell> systemctl daemon-reload

5、修改root默认密码

mysql安装完成以后，在/var/log/mysqld.log文件中给root生成了一个默认密码。经过下面的方式找到root默认密码，而后登陆mysql进行修改：

shell> grep 'temporary password' /var/log/mysqld.log

shell> mysql -uroot -p

mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'MyNewPass4!';

或者

mysql> set password for 'root'@'localhost'=password('MyNewPass4!');

注意：mysql5.7默认安装了密码安全检查插件（validate_password），默认密码检查策略要求密码必须包含：大小写字母、数字和特殊符号，而且长度不能少于8位。不然会提示ERROR 1819 (HY000): Your password does not satisfy the current policy requirements错误，以下图所示：

经过msyql环境变量能够查看密码策略的相关信息：

mysql> show variables like '%password%';

validate_password_policy：密码策略，默认为MEDIUM策略 validate_password_dictionary_file：密码策略文件，策略为STRONG才须要 validate_password_length：密码最少长度 validate_password_mixed_case_count：大小写字符长度，至少1个 validate_password_number_count ：数字至少1个 validate_password_special_char_count：特殊字符至少1个上述参数是默认策略MEDIUM的密码检查规则。

共有如下几种密码策略：

策略	检查规则
0 or LOW	Length
1 or MEDIUM	Length; numeric, lowercase/uppercase, and special characters
2 or STRONG	Length; numeric, lowercase/uppercase, and special characters; dictionary file

MySQL官网密码策略详细说明：http://dev.mysql.com/doc/refman/5.7/en/validate-password-options-variables.html#sysvar_validate_password_policy

修改密码策略

在/etc/my.cnf文件添加validate_password_policy配置，指定密码策略

# 选择0（LOW），1（MEDIUM），2（STRONG）其中一种，选择2须要提供密码字典文件

validate_password_policy=0

若是不须要密码策略，添加my.cnf文件中添加以下配置禁用便可：

validate_password = off

从新启动mysql服务使配置生效：

systemctl restart mysqld

6、添加远程登陆用户

默认只容许root账户在本地登陆，若是要在其它机器上链接mysql，必须修改root容许远程链接，或者添加一个容许远程链接的账户，为了安全起见，我添加一个新的账户：

mysql> GRANT ALL PRIVILEGES ON *.* TO 'yangxin'@'%' IDENTIFIED BY 'Yangxin0917!' WITH GRANT OPTION;

7、配置默认编码为utf8

修改/etc/my.cnf配置文件，在[mysqld]下添加编码配置，以下所示：

[mysqld]character_set_server=utf8 init_connect='SET NAMES utf8'

从新启动mysql服务，查看数据库默认编码以下所示：

第三方依赖包
全部节点都安装

yum install chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi

注意这个地方依赖包不安装完下面启动集群的时候会死活启动不了的，这是血的教训啊！
在hadoop1上准备mysql的jar包

[root@hadoop1]# mkdir -p /usr/share/java

修改jar包的名字，并拷贝到/usr/share/java/目录（下面会有截图说明为何修改）

[root@hadoop1]# cp mysql-connector-java-5.1.36-bin.jar /usr/share/java/mysql-connector-java.jar

安装Cloudera-Manager

解压cm tar包到指定目录，全部服务器都要

mkdir /opt/cloudera-manager

tar -axvf /home/hadoop/CDHInstallFile/cloudera-manager-centos7-cm5.10.0_x86_64.tar.gz -C /opt/cloudera-manager

复制文件到各个节点

scp /home/hadoop/CDHInstallFile/cloudera-manager-centos7-cm5.10.0_x86_64.tar.gz root@sp-04:/home/hadoop/

建立cloudera-scm用户（全部节点）

useradd -r -d /opt/cloudera-manager/cm-5.10.0/run/cloudera-scm-server -M -c "Cloudera SCM User" cloudera-scm

id cloudera-scm

配置从节点cloudera-manger-agent指向主节点服务器（根据集群的分配这里面应当所有节点都须要）

vim /opt/cloudera-manager/cm-5.10.0/etc/cloudera-scm-agent/config.ini

将server_host改成CMS所在的主机名即sp-06

更改后

主节点中建立parcel-repo仓库目录（这个只在主节点sp-06上须要）

mkdir -p /opt/cloudera/parcel-repo

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

更更名称

mv CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel.sha1 CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel.sha

将文件复制到/opt/cloudera/parcel-repo

cp CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel.sha manifest.json /opt/cloudera/parcel-repo

注意：其中CDH-5.7.2-1.cdh5.7.2.p0.18-el5.parcel.sha1 后缀要把1去掉

全部节点建立parcels目录（全部节点）

mkdir -p /opt/cloudera/parcels

受权用户组用户

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

解释：Clouder-Manager将CDHs从主节点的/opt/cloudera/parcel-repo目录中抽取出来，分发解压激活到各个节点的/opt/cloudera/parcels目录中

初始脚本配置数据库scm_prepare_database.sh(在主节点上)

/opt/cloudera-manager/cm-5.10.0/share/cmf/schema/scm_prepare_database.sh mysql -hsp-06 -uroot -p1234 --scm-host sp-06 scmdbn scmdbu scmdbp

说明：这个脚本就是用来建立和配置CMS须要的数据库的脚本。各参数是指：

mysql：数据库用的是mysql，若是安装过程当中用的oracle，那么该参数就应该改成oracle。

-hsp-06：数据库创建在hadoop1主机上面。也就是主节点上面。

-uroot：root身份运行mysql。-1234：mysql的root密码是***。

--scm-host sp-06：CMS的主机，通常是和mysql安装的主机是在同一个主机上。

最后三个参数是：数据库名，数据库用户名，数据库密码。

启动主节点cloudera-scm-server

cp /opt/cloudera-manager/cm-5.10.0/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server

chkconfig cloudera-scm-server on

同时为了保证在每次服务器重启的时候都能启动cloudera-scm-server，应该在开机启动脚本/etc/rc.local中加入命令：service cloudera-scm-server restart

启动cloudera-scm-agent全部节点

mkdir /opt/cloudera-manager/cm-5.10.0/run/cloudera-scm-agent

cp /opt/cloudera-manager/cm-5.10.0/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent

chkconfig cloudera-scm-agent on

同时为了保证在每次服务器重启的时候都能启动cloudera-scm-agent，应该在开机启动脚本/etc/rc.local中加入命令：service cloudera-scm-agent restart

启动主节点

service cloudera-scm-server start

启动agent

service cloudera-scm-agent start

等待主节点安装而且启动就在浏览器中进行操做了
进入sp-06:7180 默认使用admin admin登陆

此时已经完成一半的工做量了，出现这个界面说明CM已经安装成功了，下面就在这个web界面中部署CDH吧！

配置主机!因为咱们在各个节点都安装启动了agent，而且在中各个节点都在配置文件中指向hadoop1是server节点，因此各个节点的agent就会给agent发消息报告，因此这里咱们能够在“当前管理的主机”中看到三个主机，所有勾选并继续，注意若是cloudera-scm-agent没有设为开机启动，若是以上有重启这里可能会检测不到其余服务器。

选择cdh

分发parcels到各个节点

主机配置正确性的检测

这个地方要注意这个地方有两项没有检查经过，能够在集群中使用如下命令

echo 0 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

而后再点击上面的从新运行会发现此次所有检查经过了

选择要安装的服务，这里选择全部服务

角色分配

数据库设置选择

集群审核，这里都默认的

开始安装

安装完成

这个时候安装完成了，能够在浏览器中进入192.168.160.130:7180地址，查看集群状况，我这里有挺多报警，大概查看下基本都是内存或者存储空间使用阈值的报警，因为咱们是本地虚拟机的，因此这些条件都有限，这里暂时不care这些报警了

安装完成！！！

若有转载请标明地址http://www.cnblogs.com/baierfa/p/6688737.html