1.5.三、CDH 搭建Hadoop在安装以前(定制安装解决方案---建立群集主机的虚拟映像)

建立群集主机的虚拟映像

您可使用预先部署的Cloudera软件建立虚拟机映像，例如PXE启动映像，Amazon AMI和Azure VM映像，这些映像可用于快速启动虚拟机。这些图像使用parcel来安装CDH软件。本主题描述了建立Cloudera Manager主机和工做主机映像的过程以及如何从这些映像实例化主机。

继续阅读：

• 建立预部署的Cloudera Manager主机
• 实例化Cloudera Manager映像
• 建立预部署的工做主机
• 实例化工做者主机

 

建立预部署的Cloudera Manager主机

要建立Cloudera Manager虚拟机映像：

1. 基于支持的操做系统实例化虚拟机映像（若是使用Amazon Web Services，则为AMI）并启动虚拟机。有关详细信息，请参阅虚拟化环境的文档。
2. 安装Cloudera Manager并配置数据库。您能够配置本地或远程数据库。
3. 等待Cloudera Manager管理控制台变为活动状态。
4. 登陆Cloudera Manager管理控制台。
5. 下载 Cloudera Manager管理的CDH或其余服务的任何包裹。不要分发或激活包裹。
6. 登陆Cloudera Manager服务器主机：
   1. 运行如下命令以中止Cloudera Manager服务：
      service cloudera-scm-server stop
   2. 运行如下命令以禁用自动启动 Cloudera-scm-server 服务：
      • RHEL6.x，CentOS 6.x和SUSE：

        chkconfig cloudera-scm-server off 

      • RHEL 7.x / CentOS 7.xx：
        systemctl disable cloudera-scm-server.service
        
      • Ubuntu的：

        update-rc.d -f cloudera-scm-server remove 

7. 建立Cloudera Manager主机的映像。有关详细信息，请参阅虚拟化环境的文档。
8. 若是在远程主机上安装了Cloudera Manager数据库，还要建立数据库主机的映像。注意：确保在建立映像时没有客户端使用远程数据库。

实例化Cloudera Manager映像

要从虚拟机映像建立新的Cloudera Manager实例，请执行如下操做：

1. 实例化Cloudera Manager映像。
2. 若是Cloudera Manager数据库将托管在远程主机上，则还要实例化数据库主机映像。
3. 确保  cloudera-scm-server 经过在Cloudera Manager主机上运行如下命令，服务未运行：

   service cloudera-scm-server status

   若是它正在运行，请使用如下命令将其中止：
   service cloudera-scm-server stop
4. 在Cloudera Manager主机上，建立一个名为的文件 UUID 在里面/ etc /cloudera-scm-serve 目录。使用如下命令为此文件添加全局惟一标识符：
   cat /proc/sys/kernel/random/uuid > /etc/cloudera-scm-server/uuid
   此文件的存在通知Cloudera Manager在启动时从新初始化其本身的惟一标识符。
5. 运行如下命令以启动Cloudera Manager服务：

   service cloudera-scm-server start

6. 运行如下命令以启用自动从新启动 cloudera-scm-serve ：
   • RHEL6.x，CentOS 6.x和SUSE：

     chkconfig cloudera-scm-server on 

   • RHEL 7.x / CentOS 7.xx：

     systemctl enable cloudera-scm-server.service 

   • Ubuntu的：
     update-rc.d -f cloudera-scm-server defaults

 

建立预部署的工做主机

1. 基于支持的操做系统实例化虚拟机映像（若是使用Amazon Web Services，则为AMI）并启动虚拟机。有关详细信息，请参阅虚拟化环境的文档。
2. 从公共包存储库或 已建立的存储库下载工做者主机所需的宗地，并将其保存到临时目录。请参阅Cloudera Manager版本和下载信息。
3. 从下载包裹的同一位置下载 parcel_name .parcel.sha1 每一个包裹的文件。
4. 计算并比较下载的宗地的sha1，以确保正确下载了宗地。例如：

   sha1sum KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel | awk'{print $ 1}'> KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha diff KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha1 KAFKA-2.0 .2-1.2.0.2.p0.5-el6.parcel.sha

5. 打开包裹的包装：
   1. 建立如下目录：
      • /opt/cloudera/parcels
      • /opt/cloudera/parcel-cache
   2. 设置刚刚建立的两个目录的全部权，以便它们由Cloudera Manager代理运行的用户名拥有。
   3. 使用如下命令设置每一个目录的权限：

      sudo chmod 755 <directory>

      请注意，这些目录的内容将公开，而且能够安全地标记为世界可读的。
   4. 做为运行Cloudera Manager代理的同一用户运行，使用如下命令从临时目录中提取parcel的内容：
      tar -zxvf  <parcel>  -C / opt / cloudera / parcels /
   5. 从每一个宗地的产品名称添加符号连接到 /opt/cloudera/parcels目录。
      例如，要连接  /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24  至  / opt / cloudera / parcels /CDH ，使用如下命令：

      sudo ln -s /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 /opt/cloudera/parcels/CDH
   6. 在启动时经过添加a来标记Cloudera Manager代理不会删除宗地 .dont_delete 标记文件（此文件没有内容）到每一个子目录 /opt/cloudera/parcels目录。例如：
      touch /opt/cloudera/parcels/CDH/.dont_delete

6.验证文件是否存在：

ls -l / opt / cloudera / parcels / <parcel>

您应该看到相似于如下内容的输出：

ls -al / opt / cloudera / parcels / CDH

total 100
drwxr-xr-x  9 root root  4096 Sep 14 14:53 .
drwxr-xr-x  9 root root  4096 Sep 14 06:34 ..
drwxr-xr-x  2 root root  4096 Sep 12 06:39 bin
-rw-r--r--  1 root root     0 Sep 14 14:53 .dont_delete
drwxr-xr-x 26 root root  4096 Sep 12 05:10 etc
drwxr-xr-x  4 root root  4096 Sep 12 05:04 include
drwxr-xr-x  2 root root 69632 Sep 12 06:44 jars
drwxr-xr-x 37 root root  4096 Sep 12 06:39 lib
drwxr-xr-x  2 root root  4096 Sep 12 06:39 meta
drwxr-xr-x  5 root root  4096 Sep 12 06:39 share

1. 安装Cloudera Manager代理。若是您尚未这样作，请执行步骤1：为Cloudera Manager配置存储库。
2. 建立工做主机的映像。有关详细信息，请参阅虚拟化环境的文档。

实例化工做者主机

1. 实例化Cloudera工做者主机映像。
2. 编辑如下文件并设置 SERVER_HOST 和 服务器端口 用于引用Cloudera Manager服务器主机的属性。
3. 若有必要，请执行其余步骤以配置TLS / SSL。请参阅为Cloudera Manager配置TLS加密。
4. 启动代理服务：
   sudo service cloudera-scm-agent start