Linux环境Cloudera CDH安装配置彻底解决方案

时间  2019-11-26
标签 linux 环境 cloudera cdh 安装 配置 彻底解决 方案 栏目 Linux 繁體版
原文   原文链接

Linux环境Cloudera CDH安装配置

PS： 几乎全网最全，介绍彻底离线和在线联网两种安装方式，搭建CDH，阅此文足矣。html

1. 认识CDH

(1) CDH介绍

  • CDH是Apache Hadoop和相关项目中最完整，通过测试和最流行的发行版。
  • 由Cloudera公司发行的Hadoop版本，全称（Cloudera’s Distribution Including Apache Hadoop）。该版本在基于原生Apache Hadoop版本进行改进，添加了补丁和自行开发的组件，更加稳定易用。是目前国内使用最多的版本。
  • 官网：www.cloudera.com/
  • 官方文档：www.cloudera.com/documentati…
  • CDH提供了Hadoop的核心元素 ：
    • 可扩展存储和分布式计算
    • 以及基于Web的用户界面和重要的企业功能。
  • CDH是Apache许可的开源软件，是惟一提供统一批处理，交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。

(2) CDH优点

<1>. 灵活性

  • 存储任何类型的数据并使用各类不一样的计算框架对其进行操做，包括批处理，交互式SQL，自由文本搜索，机器学习和统计计算。

<2>. 集成

  • 在完整的Hadoop平台上快速启动和运行，该平台可与各类硬件和软件解决方案配合使用。

<3>. 安全

  • 处理和控制敏感数据。

<4>. 可扩展性

  • 支持普遍的应用程序，并扩展和扩展它们以知足您的要求。

<5>. 高可用性

  • 充满信心地执行任务关键型业务任务。

<6>. 兼容性

  • 利用现有的IT基础架构和投资。

2. 前期准备工做

  • 注意：搭建前先肯定本身的设备状况，各节点硬盘30G以上，主节点内存6G以上，从节点内存2G以上，低配置会致使后续加载服务失败。
    • 给一个大体的参考：
  • 这里的准备工做是两种安装方式都须要提早配置好的，从裸虚拟机开始，作过相关配置略过便可。
  • 个人环境是三台虚拟机（主节点：bigdata01；从节点：bigdata02，bigdata03），操做系统均为CentOS7，自行根据实际状况灵活调整。

(1) Linux配置IP(NAT模式):

  • 相关信息必须与VMnet8保持一致
  • 经过命令：vi /etc/sysconfig/network-scripts/ifcfg-(本身的名字) 进行编辑： 
    • TYPE=Ethernet    
BOOTPROTO=none    
DEFROUTE=yes  
IPV4_FAILURE_FATAL=no  
IPV6INIT=yes  
  IPV6_AUTOCONF=yes  
  IPV6_DEFROUTE=yes  
  IPV6_FAILURE_FATAL=no  
  IPV6_ADDR_GEN_MODE=stable-privacy  
  NAME=ens33  
  UUID=9cbcf25a-600d-4d9c-88ad-ab509ab6e52a  
  DEVICE=ens33  
  ONBOOT=yes  
  **IPADDR=192.168.44.121  
  PREFIX=24  
  GATEWAY=192.168.44.2  
  DNS1=8.8.8.8**  
  IPV6_PEERDNS=yes  
  IPV6_PEERROUTES=yes  
  IPV6_PRIVACY=no  
复制代码
  • 重启网络服务：
    • service network restart

(2) linux关闭防火墙:

  • 查看防火墙状态：firewall-cmd --state ->running
  • 关闭防火墙-本次有效：systemctl stop firewalld.service
  • 禁用防火墙-永久生效：systemctl disable firewalld.service ->not running

(3) 设置主机名:

  • 位置：vi /etc/hostname，输入主机名
  • **注意：**须要重启：reboot

(4) 设置映射:

  • 位置：vi /etc/hosts，输入集群所有IP和主机名
  • 格式：192.168.44.111 bigdata01

(5) 设置免密登陆：

  • 生成密钥：ssh-keygen (三次回车键)
  • 拷贝到主机：ssh-copy-id 主机名 (全部节点都拷贝)

(6) 安装jdk:

<1>. 上传安装包:

  • CRT：alt+p
  • winscp：拖入目录

<2>. 解压：

  • tar -zxvf jdkXXXXX.tar.gz -C 目标目录

<3>. 配置环境变量：

  • 修改配置文件：
    • vi /etc/profile
  • 增长如下内容：
    • export JAVA_HOME=jdk目标目录
    • export PATH=$PATH:$JAVA_HOME/bin
  • 声明环境变量：
    • source /etc/profile

(7) 分发jdk到其余节点:

<1>. 发送文件：

  • scp jdk 目标主机名:目标目录
  • scp /etc/profile 目标主机名:目标目录

<2>. 配置环境变量：

  • 与节点一相同

<3>. 验证：

  • javac
  • java
  • java -version

(8) 软链接jdk到CDH5：

  • 注意CDH5默认识别的jdk路径为：/usr/java/default，这个路径不能多也不能少，须要使CDH识别到系统安装的jdk，采用软链接方式最简单。
  • 软链接创建命令：
    • 格式：ln -s sourcedir sinkdir
    • ln -s /jdk安装位置/* usr/java/default/

(9) MySQL数据库（主节点安装便可）

<1>. Linux安装MySQL：

<2>. 建立相关数据库：

  • Hive的元数据库：
    • mysql>create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
  • Cloudera的元数据库：
    • mysql>create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

<3>. 开启远程访问:

  • 选择mysql库：
    • mysql>use mysql;
  • 建立CDH默认使用mysql用户scm：
    • mysql>CREATE USER 'scm'@'%' IDENTIFIED BY 'scm';
  • 赋予scm用户全部权限：
    • mysql>GRANT ALL PRIVILEGES ON *.* TO scm@"%" IDENTIFIED BY "scm";
  • 刷新权限：
    • mysql>flush privileges;

(10) 增长开机自启项：（避免后续提示警告）

  • 当前开启：
    • echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
    • echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
  • 添加配置文件：
    • vi /etc/rc.local 
      • echo 0 >  /proc/sys/vm/swappiness
  echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
  echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
  swapoff -a
复制代码
      复制代码
  • 分发给其余节点：
    • scp /etc/rc.local bigdata02:$PWD
    • scp /etc/rc.local bigdata03:$PWD

(11) 安装时钟服务NTP：（CDH要求各个节点时间同步）

  • 时钟服务器安装在主节点上，子节点的时钟服服务所有同步到主节点的时钟服务器上。java

  • 安装时钟服务ntp：mysql

    • yum -y install ntp

  • 启动ntp并注册到开机自启：linux

    • service ntpd start
    • chkconfig ntpd on

  • 查看ntpd的状态：sql

    • service ntpd status

  • 配置时钟服务器：shell

    • vi /etc/ntp.conf
      • 修改前：
      • 修改后：

  • 重启ntp服务：数据库

    • service ntpd restart

(12) 安装perl：

  • yum install -y perl

3. CDH-5.14.0 在线安装配置流程

  • 操做相对容易，适用于本地测试和有网环境生产搭建。

(1) 相关下载地址：

(2) 解压Clouder Manager到目标目录下：

  • **特别注意：**为了后续方便和避免引发没必要要的麻烦，务必建立目录/opt/cloudera-manager和/opt/cloudera/parcel-repo
  • tar -zxvf .tar.gz -C /opt/cloudera-manager

(3) 建立用户cloudera-scm:

  • 因为Cloudera Manager和Managed Services默认使用cloudera-scm，因此须要建立此用户。
  • 建立用户：
    • useradd --system --home=/opt/cloudera-manager/cm-5.14.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
  • 修改用户密码：
    • passwd cloudera-scm

(4) 主节点建立Cloudera Manager服务本地数据存储目录:

  • mkdir /var/lib/cloudera-scm-server
  • chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

(5) 配置Agent：

  • 配置全部节点的Agent
  • vi /opt/cloudera-manager/cm-5.14.1/etc/cloudera-scm-agent/config.ini
  • 将server_host修改为主节点的主机名(必定不能是IP地址)，若是主节点端口没有自定义，则不用修改。

(6) 配置mysql-connector-java.jar：

  • 下载地址（mysql5+）：
  • 保存到全部主机的/usr/share/java目录下（目录不存在则新建）
  • 重命名：
    • 很关键一步，不修改CDH则不识别
    • mv mysql-connector-java-5.1.46.jar mysql-connector-java.jar

(7) 初始化cloudera manager：

  • /opt/cloudera-manager/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql scm scm scm
  • 操做成功提示： 
    • [                          main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!
复制代码
  • 这里报错的话是以前mysql的scm用户设置问题，各位自行排查。

(8) 配置CDH安装包：

  • 安装包：
    • CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel
    • CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1
    • manifest.json
  • 将安装包移动主节点的/opt/cloudera/parcel-repo目录下
    • /opt/cloudera/parcel-repo目录是CDH自动识别的目录
  • 重命名：
    • mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha
    • .sha1不识别，不重命名会从新下载sha文件。

(9) 启动主节点的CM Server和全部节点的Agent：

  • 路径为:/opt/cloudera-manager/cm-5.14.1/etc/init.d
  • ./cloudera-scm-server start
  • ./cloudera-scm-agent start

(10) 打开CM管理页面

(11) 选择Cloudera Express：

  • 选择免费。

(12) 选择主机：

  • 在“当前管理的主机”选项卡下，勾选全部节点。

(13) 群集安装：

  • 选择存储库：

(14) 安装完成后，检查主机正确性:

  • 转“5. 安装后续”

4. CDH-5.14.0 离线安装配置流程

  • 操做复杂，适用于高安全性无网环境生产搭建。

(1) 搭建私有网络软件仓库：

  • 在集群安装的过程当中，要求每一个节点都必须挂载光驱， 而对于每台节点都手动的去挂载光驱太麻烦，也不方便。这里使用每一个节点都指向同一个私有网络镜像来解决这个问题。
  • 集群采用的是全离线安装，也不可能逐个节点的安装，一样是也使用指向同一个私有的网络软件包来解决。
  • 所以选择在bigdata01上搭建一个私有的网络软件仓库，如下是搭建的全过程：

<1>. 上传镜像：

  • 搭建私有网络镜像使用的镜像文件最好就使用安装系统的镜像，这里是选择了CentOS6.7x64的镜像，将其上传到hadoop-4的/disk下（需新建/disk目录）。
  • 若遇到上传文件限制没法上传，则压缩成.zip文件上传，以后解压。

<2>. 挂载镜像

  • 建立文件夹：
    • mkdir -p /media/CentOS
  • 挂载镜像：
    • mount -o loop /disk/CentOS-6.7-x86_64-bin-DVD1.iso /media/CentOS/
  • 修改CentOS-Base.repo：
    • 进入目录：cd /etc/yum.repos.d
    • mv CentOS-Base.repo CentOS-Base.repo.bak
  • 修改CentOS-Media.repo文件：
    • vim CentOS-Media.repo
    • 将enable=0改为enable=1
  • 清除yum的缓存：
    • yum clean metadata
    • yum clean dbcache
  • 查看是否挂载成功：
    • yum list | wc -l
    • 这是统计镜像中有多少个软件包的命令，CentOS6.7x64位的系统的软件包个数通常在3000以上。

<3>. 安装http：

  • 已经安装能够省略，只需启动便可（通常最小化安装不会安装此服务）
  • 安装命令：yum -y install httpd
  • 启动http服务：service httpd start或者/bin/systemctl start httpd.service
  • 设置开机自启：chkconfig httpd on
  • 经过浏览器测试：
    • 输入：http://bigdata01:80
    • 出现相似以下界面说明http启动成功：

<4>. 安装createrepo

  • 用来生成http镜像的网络识别路径。
  • 安装：
    • yum –y install createrepo

(2) 挂载网络系统镜像：

<1>. 建立网络系统镜像：

  • 从镜像中挂载的文件拷贝到软件仓库的目录中：
    • cp -r /media/CentOS 目标目录
  • 删除目录repodata：
    • cd /目标目录/CentOS
    • rm -rf ./repodata
  • 生成新的软件路径目录repodata：

<2>. 使用网络系统镜像：

  • 解除对镜像文件的挂载：json

    • umount /media/CentOS

  • 若/media/CentOS下无文件则说明解除挂载成功。vim

  • 若出现： centos

    • 说明有进程在占用挂载点，出现这种状况，表示还有进程在使用/medis/CentOS挂载点，那么此时能够借助fuser命令找出占用目录/medis/CentOS的全部进程，而后kill掉，此时就能够umount了。

  • 修改文件CentOS-Media.repo让其指向刚才建立的网络镜像：

    • vi /etc/yum.repos.d/CentOS-Media.repo

  • 清除yum的缓存：

    • yum clean metadata
    • yum clean dbcache

  • 查看是否挂载成功：

    • yum list | wc -l

<3>. 成功：

  • 到此bigdata01网络系统镜像挂载完成，能够删除镜像文件。

(3) 建立CM和CDH网络软件镜像：

<1>. 建立CM网络软件镜像：

<2>. 建立CDH网络镜像：

  • CDH下载地址：

<3>. 子节点挂载网络镜像

  • 将主节点的/etc/ yum.repos.d下的CentOS-Media.repo文件分发到各子节点的目录：

    • scp -r /etc/yum.repos.d/CentOS-Media.repo bigdata02:$PWD
    • scp -r /etc/yum.repos.d/CentOS-Media.repo bigdata03:$PWD

  • 在全部子节点执行以下命令：

    • mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak

  • <4>. 子节点挂载网络镜像

    • 将主节点/etc/ yum.repos.d下的CentOS-Media.repo文件分发到各子节点的目录/etc/ yum.repos.d下：
      • scp -r /etc/yum.repos.d/CentOS-Media.repo bigdata02:/etc/yum.repos.d/
      • scp -r /etc/yum.repos.d/CentOS-Media.repo bigdata03:/etc/yum.repos.d/
    • 在全部子节点执行以下命令：
      • mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
    • 清除yum的缓存：
      • yum clean metadata
      • yum clean dbcache
    • 查看是否挂载成功：
      • yum list | wc -l
      • 这是统计镜像中有多少个软件包的命令，CentOS6.7x64位的系统的软件包个数通常在3000以上。

(4) CM安装：

  • 以前只是创建了CM的网络软件镜像，可是并无让系统识别，如今开始一步步安装CM。
  • 因为CM只要安装在主节点bigdata01上，如下操做仅在bigdata01上执行。

<1>. 配置CM的yum源

  • 找到CM网络镜像中拷贝cloudera-cm.repo
    • 存在于cm的压缩包中，能够从压缩包中直接解压。
  • 拷贝cloudera-cm.repo到/etc/yum.repos.d/目录下：
    • cp /opt/module/cm-5.14/cloudera-manager.repo /etc/yum.repos.d/
  • 进入目录/etc/yum.repos.d/：
    • cd /etc/yum.repos.d/
  • 修改cloudera-cm.repo：
    • vi cloudera-cm.repo
    • baseurl=http://bigdata01/cm5.14
    • gpgkey=http://bigdata01/cm5.14/RPM-GPG-KEY-cloudera
    • 必定要注意和cm的网络软件镜像相对应。
  • 修改cloudera-cm.repo：
    • cp cloudera-cm.repo cloudera-manager.repo

<2>. 安装CM

  • 下载CM安装的引导文件——cloudera-manager-installer.bin：

  • 将其上传到/opt下：

  • 上传的cloudera-manager-installer.bin文件并无执行权限，赋予其执行权限：

    • chmod 755 cloudera-manager-installer.bin

  • 执行安装：

    • ./opt/cloudera-manager-installer.bin
    • 安装提示进行便可，出现下面界面即安装成功：

  • 查看cloudera的服务是否启动：

    • ./cloudera-scm-server start

  • 经过浏览器访问cm的页面控制台：

    • http://bigdata01:7180
    • 7180是默认端口，若冲突修改流程以下：
      • 登陆主节点MySQL
      • mysql>use scm
      • 查看默认端口：
        • mysql>select * from CONFIGS where ATTR='http_port';
      • 修改端口：
        • update CONFIGS set VALUE='XXXX' where ATTR='http_port';
      • 重启服务器：
        • ./cloudera-scm-server start restart
      • 初始用户名密码均为admin，（可自行修改）登陆后进行cdh集群安界面。

(5) CDH集群安装：

  • 接下来就经过浏览器界面来执行CDH集群安装。

<1>. 选择子节点

  • 在登陆了后，进入的第一个界面是cloudera的最终用户许可条款和条件：

  • 勾选是的，再点继续，进入CDH版本选择界面：

  • 这里选择免费版， 再点击继续，进行感谢界面：

  • 直接点击继续，进入了节点选择界面：

  • 在这个界面咱们须要填入，咱们集群的全部节点主机名（可从任意节点的hosts文件中拷贝。），以英文逗号分隔，填完了后点击搜索。

<2>. CDH和CM的具体网络位置的选择

  • 在确认主机无误后，点击继续，就能够进入CDH和CM的网络位置选择界面。

  • a. 选择CDH的位置：

    • 先点击 更多选项，进入CDH网络位置选择界面：

    • 修改为咱们本身的CDH网络软件镜像的地址，多余的删掉。

    • 点击保存更改，这时CDH和CM的网络位置选择界面变为：

    • 选择CDH版本就完成了，接下来选择CM。

  • b. 选择CM的位置

    • 在选择了CDH后，咱们继续点击 自定义存储库 来选择咱们本身的CM：

    • 就是把配置cloudera-cm.repo的配置拿出来，在界面上填一遍，咱们的填写以下：

    • 填写完成后，就会进入给每一个节点安装cloudera-scm-agent的界面，再点击继续前，咱们须要将hadoop-cm中安装CM时安装的JDK文件分发到每一个子节点，否则子节点在安装cloudera-scm-agent会包错。

<3>. Agent的安装和配置

  • 点击继续，进入jdk安装选项：

  • 这个就不须要勾选，直接点击继续，进入选择是否启动单用户模式：

  • 选择不启用，直接点击继续，进入节点通讯选择：

  • 这里使用 全部用户接收相同的密码：

  • 填入密码后，点击继续，进行agent安装界面， 耐心等待安装完成。安装完成后，点击继续，进入CDH包分发到agent的界面，耐心等待其完成。分发为完成后，点击继续，进入agent主机检查：

    • 转“5. 安装后续”

5. 安装后续

(1) agent主机检查

  • 须要将全部警告都解决才能点击继续，否则安装可能会报错。

  • 大几率出现的警告为：

    • a. Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您能够继续进行安装，但 Cloudera Manager 可能会报告您的主机因为交换而运行情况不良。 - 解决方案：
      • sysctl vm.swappiness=10
      • cat /proc/sys/vm/swappiness
      • 加入配置文件永久修改：
        • 在/etc/sysctl.conf 文件里添加以下参数：
          • vm.swappiness=10
    • b. 已启用透明大页面压缩，可能会致使重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置。
      • 解决方案：
        • echo never > /sys/kernel/mm/transparent_hugepage/defrag
        • echo never > /sys/kernel/mm/transparent_hugepage/enabled
        • vi /etc/rc.local
        • 添加：
          • echo never > /sys/kernel/mm/transparent_hugepage/defrag
          • echo never > /sys/kernel/mm/transparent_hugepage/enabled

(2) CDH服务选择

  • 安装和配置完Agent后，就会进入CDH服务选择界面：

  • 选择自定义服务，勾选以下：

  • 点击继续，进入服务安装细节界面：

(3) 配置元数据库为Mysql

在选择完服务后，点击继续就能够进入数据库选择界面，这里选择mysql，注意用户名和密码，这里须要填如Mysql中支持远程链接的用户名和密码，点击测试链接：

(4) 集群服务配置

<1>. HDFS DataNode地址配置

<2>. HDFS NameNode地址配置

<3>. 1.1.3 HDFS SNameNode地址配置

<4>. Yarn NodeManager的地址配置

  • 其余的均不须要调整，配置完后点击继续，进入安装界面。

(5) CDH集群安装

  • 在选择完集群服务配置后，就会进行运行安装界面。

  • 可能报错：

    • 缘由：
      • jdk未找到
      • 内存不足
    • 缘由：perl未安装

  • 完成后，点击继续，集群cm集群控制界面，

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程