使用阿里云服务器，离线搭建CDH集群

准备工做

1.服务器

关键词：

• 3台服务器

• 配置要求至少2核8G

• 选择同地域同区域服务器，保证内网通畅

我的学习，推荐使用阿里云按量付费的服务器，在使用时候开启，不适用的时候关机中止收费。

需注意两点：

（1）服务器配置至少2核8G，不然CDH集群可能没法正常运行

（2）服务器要保证在同一地域的同一可用却，切记必定不能使用随机分配区域，不然不一样地域的实例之间内网互不相通

阿里云的使用细节不作过多描述，不清楚的能够查看若泽数据课程：https://www.bilibili.com/video/av52167219/?p=3

按照操做，最终的配置以下：

2.安装包准备

CM

cloudera-manager-centos7-cm5.16.1x8664.tar.gz Parcel

CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 manifest.json

JDK

https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html

下载jdk-8u202-linux-x64.tar.gz

MySQL https://dev.mysql.com/downloads/mysql/5.7.html#downloads

下载mysql-5.7.26-el7-x86_64.tar.gz

MySQL jdbc jar

mysql-connector-java-5.1.47.jar

 下载完成后要重命名去掉版本号，

mv mysql-connector-java-5.1.47.jar mysql-connector-java.jar

2.规划

节点	MySQL部署组件	Parcel文件离线元	CM服务进程	大数据组件
hadoop001	MySQL	Parcel	Activity Monitor	NN RM DN NM
hadoop002			Alert Publisher Event Server	DN NM
hadoop003			Host Monitor Service Monitor	DN NM

3.集群节点初始化

1.配置host

vim /etc/hosts

172.26.84.187 hadoop001

172.26.84.188 hadoop002

172.26.84.189 hadoop003

2.配置防火墙（详细介绍阿里云服务器）

（1）若是使用内部服务器，建议先关闭防火墙，集群搭建起以后，再开启相关端口。防火墙相关命令，自行查找。

（2）阿里云服务器默认防火墙为关闭状态，在阿里云的web界面，找到服务器的安全组，对服务器的安全组进行配置，操做以下

1.进入服务器列表，找到 安全组配置

2.点击配置规则

3.添加配置规则

图中的规则表明：开启7180到7180直接的端口号，受权对象，即访问限制的ip为0.0.0.0/0，即全部ip地址都可访问该web端口。

3.时区设置，timezone和datatime同步（阿里云时间基本不会出问题，方法二可跳过）

(1) 经过date命令以及timedatectl，查找集群每台机器时间是否一致、时区是否一致以及是否为CST格式的时间。

CST被视为美国、澳大利亚、古巴或中国的标准时间

若是时区不一致，使用timedatectl --help查看相关命令

使用list-timezones查看时区列表

set-timezone Asia/Shanghai

（2）使用ntp服务设置时区

yum install -y ntp

使用hadoop001 做为时间同步的主节点

hadoop002-003做为时间同步的从节点

设置主节点

vim /etc/ntp.conf

#time

#这个是互联网同步亚洲时区

server 0.asia.pool.ntp.org

server 1.asia.pool.ntp.org

server 2.asia.pool.ntp.org

server 3.asia.pool.ntp.org

#这步很重要，若是该服务器网络出问题了，就同步本身的本地时间

server 127.127.1.0 iburst local clock

#这个是容许客户端172.26.84段的地址能够同步该时间同步服务器。

restrict 172.26.84.0  mask 255.255.255.0  nomodify  notrap

systemctl start ntpd 重启ntpdfuwu

systemctl status ntpd 查看ntpd服务状态，当现实为runnig的时候，说明已经开始服务

ntpq -p 查看验证结果

三条命令的操做结果以下

设置从节点

关闭从节点ntpd服务，不然从节点也是使用ntpd网络设置时间

systemctl stop ntpd

systemctl disable ntpd

在从节点使用 /usr/bin/ntpstat hadoop001 表示同步hadoop001节点时间

4.JDK安装

路径：/usr/java

解压以后的用户及用户组的修正

配置环境变量

tar -zxvf jdk包 -C /usr/java

chown -R root:root /usr/java/jdk1.8.0_45/

vim /etc/profile

#env环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_45

export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

java -version检查

5.MySQL离线部署

https://github.com/Hackeruncle/MySQL/blob/master/MySQL%205.7.11%20Install.txt

6.准备mysql相关jar包

mkdir -p /usr/share/java

cp mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar

jar包的名称必定要把版本号去掉，不然将不会识别

cmf

amon

都要部署在hadoop001节点上 那么此节点就要部署jar包

7.离线部署CM

解压

tar -zxvf cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz -C /opt/cloudera-manager/

agent配置 （所有机器）

cd /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent

vim config.inc 将server_host修改为主节点的域名

server配置（主节点）

选取hadoop001做为server端，修改server端配置文件

cd /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-server

vim db.properties

# Copyright (c) 2012 Cloudera, Inc. All rights reserved.

#

# This file describes the database connection.

#

# The database type

# Currently 'mysql', 'postgresql' and 'oracle' are valid databases.

com.cloudera.cmf.db.type=mysql

# The database host

# If a non standard port is needed, use 'hostname:port'

com.cloudera.cmf.db.host=hadoop001

# The database name

com.cloudera.cmf.db.name=cmf

# The database user

com.cloudera.cmf.db.user=cmf

# The database user's password

com.cloudera.cmf.db.password=mysql的密码

# The db setup type

# By default, it is set to INIT

# If scm-server uses Embedded DB then it is set to EMBEDDED

# If scm-server uses External DB then it is set to EXTERNAL

com.cloudera.cmf.db.setupType=EXTERNAL

三台机器建立为cdh运行的用户，用户不须要独立的根目录以及登陆，这个用户只是给cdh作启动使用

useradd --system --home=/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false cloudera-scm

修改三台机器目录权限

chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager

8.parcel文件离线源 hadoop001

mkdir -p /opt/cloudera/parcel-repo

mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel /opt/cloudera/parcel-repo/

mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha (注意须要给文件重命名 去掉1)

mv manifest.json /opt/cloudera/parcel-repo/

校验文件是否有问题：/usr/bin/sha1sum CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel

对比返回的值 和 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha 的值是否一致

更改用户组：

chown -R cloudera-scm:cloudera-scm /opt/cloudera

这样 hadoop001的离线源部署完成

9.全部节点建立大数据软件的安装目录 用户和用户组

[root@hadoop001 parcel-repo]# mkdir -p /opt/cloudera/parcels

[root@hadoop001 parcel-repo]# chown -R cloudera-scm:cloudera-scm /opt/cloudera

10.启动服务

hadoop001启动server：

/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server start --启动server端

cd /opt/cloudera-manager/cm-5.16.1/log/cloudera-scm-server 进入server端日志，查看日志文件

全部服务器，启动scm：

/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent start

11.打开防火墙，开启7180端口

默认用户名：admin

默认密码：admin

选择免费版本便可