CDH6.3.0 - Cloudera Enterprise 6 Release Guide 安装准备篇

1、安装以前

   Cloudera管理器的存储空间规划

　　ClouderaManager跟踪许多后台流程中的服务、做业和应用程序的指标。全部这些指标都须要存储。根据组织的大小，此存储能够是本地的或远程的，基于磁盘的，也能够是数据库中的，由您或其余团队在另外一个位置管理。

　　大多数系统管理员都知道常见的位置，如/var/log/这些地点须要有足够的空间。本主题帮助您规划Cloudera Manager Server和Cloudera Management Service用于存储度量和数据的存储需求和数据存储位置。

　　未能规划Cloudera Manager Server和Cloudera管理服务的全部组件的存储需求，会如下列方式对集群产生负面影响：

• 集群可能没法保留历史操做数据以知足内部需求。
• 集群可能漏掉未收集或保留所需时间的关键审计信息。
• 管理员可能没法研究过去的事件或健康情况。
• 管理员可能在之后须要引用或报告历史 MR一、YARN或Impala使用数据时没有这些数据。
• 在度量收集和图表方面可能存在空白。
• 因为将存储位置填充到100%的容量，群集可能会出现数据丢失。这种事件的影响可能会影响到许多其余组成部分。

 

　配置网络名称

　　首先，CDH须要IPv 4，不支持IPv 6。

　　一、将主机名设置为惟一名称，不是localhost

sudo hostnamectl set-hostname foo-1.example.com

 

　　二、编辑/etc/hosts具备集群中每一个主机的IP地址和彻底限定域名(FQDN)。您也能够添加非限定名。

1.1.1.1  foo-1.example.com  foo-1 
2.2.2.2  foo-2.example.com  foo-2 
3.3.3.3  foo-3.example.com  foo-3 
4.4.4.4  foo-4.example.com  foo-4

        注意：

•  每一个主机的规范名称。/etc/hosts 必是FQDN(例如myhost-1.example.com)，而不是不合格的主机名(例如myhost-1)。
• 不要使用别名，也不要在/etc/hosts或者配置DNS。
• 在ClouderaManager实例中，非限定主机名(短名称)必须是惟一的。例如host01.example.com和host01.Standby.example.com由同一个             ClouderaManagerServer管理。

      三、编辑/etc/sysconfig/Network仅用于此主机的FQDN：

HOSTNAME=foo-1.example.com

 

　　四、验证每一个主机是否一致地标识到网络：

•  运行uname -a并检查主机名是否与主机名命令相同。
• 运行/sbin/ifconfig并注意到inet addr在eth0(或bond0)条目，例如：

eth0      Link encap:Ethernet  HWaddr 00:0C:29:A4:E8:97             
inet addr:172.29.82.176  Bcast:172.29.87.255  Mask:255.255.248.0 
...

• 运行host -v -t A $(hostname)并验证输出是否与主机名命令相同。 IP地址应与ifconfig为eth0(或bond0):

Trying "foo-1.example.com"
...
;; ANSWER SECTION:
foo-1.example.com. 60 IN
A
172.29.82.176

 

　禁用防火墙

 　　若要在群集中的每一个主机上禁用防火墙，请在每一个主机上执行如下步骤：

　　一、为iptables，保存现有规则集：

sudo iptables-save > ~/firewall.rules

　　二、禁用防火墙(RHEL 7兼容)：

sudo systemctl disable firewalld
sudo systemctl stop firewalld

 

     设置SELinux模式

 　　安全加强的linux(SELinux)容许您经过策略设置访问控制。若是您在使用策略部署CDH时遇到问题，请在每一个主机上设置SELinux，而后在集群上部署CDH。  若要设置SELinux模式，请在每一个主机上执行如下步骤:

　　一、检查SELinux状态：

getenforce

　　二、若是输出是Permissive 或者 Disabled，您能够跳过此任务并继续执行禁用防火墙..若是输出是(enforcing)强制执行，继续下一步。

　　三、打开/etc/selinux/config文件(在某些系统中，/etc/sysconfig/selinux文件)。

　　四、将SELINUX=enforcing改成SELINUX=permissive.

　　五、保存并关闭文件。

　　六、从新启动系统或运行如下命令当即禁用SELinux：

setenforce 0

　　安装和部署cdh以后，能够经过更改SELINUX=permissive回到SELINUX=enforcing  。在……里面/etc/selinux/config(或/etc/sysconfig/selinux)，而后运行如下命令当即切换到强制执行模式：

setenforce 1

 

     启用NTP服务

　　　　CDH要求您配置网络时间协议(NTP)集群中每台机器上的服务。大多数操做系统包括ntpd用于时间同步的服务。使用ntpd对于时间同步：

　　一、安装NTP

yum install ntp

 

　　二、编辑/etc/ntp.conf文件以添加NTP服务器，以下面的示例所示。

server 0.pool.ntp.org 
server 1.pool.ntp.org 
server 2.pool.ntp.org

 

　　三、启动ntpd服务(RHEL 7兼容)：

sudo systemctl start ntpd

 

　　四、配置ntpd在引导时运行的服务(RHEL 7兼容)：

sudo systemctl enable ntpd

 

　　五、将系统时钟同步到NTP服务器：

ntpdate -u <ntp_server>

 

　　六、将硬件时钟与系统时钟同步：

hwclock --systohc

 

 

    在Hue主机上安装Python2.7(RHEL 6版本安装)

　　这里以CentOS 6.x为例，以下操做：

　　一、启用软件收藏库：

sudo yum install centos-release-scl

 

　　二、安装软件集合实用程序：

sudo yum install scl-utils

 

　　三、安装Python 2.7：

sudo yum install python27

 

　　四、验证是否安装了Python2.7：

source /opt/rh/python27/enable
python --version

 

  Impala Requirements（略）

  基于包的cdh安装所需的特权（略）