1、安装以前
Cloudera管理器的存储空间规划
ClouderaManager跟踪许多后台流程中的服务、做业和应用程序的指标。全部这些指标都须要存储。根据组织的大小,此存储能够是本地的或远程的,基于磁盘的,也能够是数据库中的,由您或其余团队在另外一个位置管理。html
大多数系统管理员都知道常见的位置,如/var/log/这些地点须要有足够的空间。本主题帮助您规划Cloudera Manager Server和Cloudera Management Service用于存储度量和数据的存储需求和数据存储位置。python
未能规划Cloudera Manager Server和Cloudera管理服务的全部组件的存储需求,会如下列方式对集群产生负面影响:linux
- 集群可能没法保留历史操做数据以知足内部需求。
- 集群可能漏掉未收集或保留所需时间的关键审计信息。
- 管理员可能没法研究过去的事件或健康情况。
- 管理员可能在之后须要引用或报告历史 MR一、YARN或Impala使用数据时没有这些数据。
- 在度量收集和图表方面可能存在空白。
- 因为将存储位置填充到100%的容量,群集可能会出现数据丢失。这种事件的影响可能会影响到许多其余组成部分。
配置网络名称
首先,CDH须要IPv 4,不支持IPv 6。数据库
一、将主机名设置为惟一名称,不是localhostcentos
sudo hostnamectl set-hostname foo-1.example.com
二、编辑/etc/hosts具备集群中每一个主机的IP地址和彻底限定域名(FQDN)。您也能够添加非限定名。
1.1.1.1 foo-1.example.com foo-1
2.2.2.2 foo-2.example.com foo-2
3.3.3.3 foo-3.example.com foo-3
4.4.4.4 foo-4.example.com foo-4
注意:安全
- 每一个主机的规范名称。/etc/hosts 必是FQDN(例如myhost-1.example.com),而不是不合格的主机名(例如myhost-1)。
- 不要使用别名,也不要在/etc/hosts或者配置DNS。
- 在ClouderaManager实例中,非限定主机名(短名称)必须是惟一的。例如host01.example.com和host01.Standby.example.com由同一个 ClouderaManagerServer管理。
三、编辑/etc/sysconfig/Network仅用于此主机的FQDN:服务器
HOSTNAME=foo-1.example.com
四、验证每一个主机是否一致地标识到网络:网络
- 运行uname -a并检查主机名是否与主机名命令相同。
- 运行/sbin/ifconfig并注意到inet addr在eth0(或bond0)条目,例如:
eth0 Link encap:Ethernet HWaddr 00:0C:29:A4:E8:97
inet addr:172.29.82.176 Bcast:172.29.87.255 Mask:255.255.248.0
...
- 运行host -v -t A $(hostname)并验证输出是否与主机名命令相同。 IP地址应与ifconfig为eth0(或bond0):
Trying "foo-1.example.com" ... ;; ANSWER SECTION: foo-1.example.com. 60 IN A 172.29.82.176
禁用防火墙
若要在群集中的每一个主机上禁用防火墙,请在每一个主机上执行如下步骤:post
一、为iptables,保存现有规则集:ui
sudo iptables-save > ~/firewall.rules
二、禁用防火墙(RHEL 7兼容):
sudo systemctl disable firewalld
sudo systemctl stop firewalld
设置SELinux模式
安全加强的linux(SELinux)容许您经过策略设置访问控制。若是您在使用策略部署CDH时遇到问题,请在每一个主机上设置SELinux,而后在集群上部署CDH。 若要设置SELinux模式,请在每一个主机上执行如下步骤:
一、检查SELinux状态:
getenforce
二、若是输出是Permissive 或者 Disabled,您能够跳过此任务并继续执行禁用防火墙..若是输出是(enforcing)强制执行,继续下一步。
三、打开/etc/selinux/config文件(在某些系统中,/etc/sysconfig/selinux文件)。
四、将SELINUX=enforcing改成SELINUX=permissive.
五、保存并关闭文件。
六、从新启动系统或运行如下命令当即禁用SELinux:
setenforce 0
安装和部署cdh以后,能够经过更改SELINUX=permissive回到SELINUX=enforcing 。在……里面/etc/selinux/config(或/etc/sysconfig/selinux),而后运行如下命令当即切换到强制执行模式:
setenforce 1
启用NTP服务
CDH要求您配置网络时间协议(NTP)集群中每台机器上的服务。大多数操做系统包括ntpd用于时间同步的服务。使用ntpd对于时间同步:
一、安装NTP
yum install ntp
二、编辑/etc/ntp.conf文件以添加NTP服务器,以下面的示例所示。
server 0.pool.ntp.org server 1.pool.ntp.org server 2.pool.ntp.org
三、启动ntpd服务(RHEL 7兼容):
sudo systemctl start ntpd
四、配置ntpd在引导时运行的服务(RHEL 7兼容):
sudo systemctl enable ntpd
五、将系统时钟同步到NTP服务器:
ntpdate -u <ntp_server>
六、将硬件时钟与系统时钟同步:
hwclock --systohc
在Hue主机上安装Python2.7(RHEL 6版本安装)
这里以CentOS 6.x为例,以下操做:
一、启用软件收藏库:
sudo yum install centos-release-scl
二、安装软件集合实用程序:
sudo yum install scl-utils
三、安装Python 2.7:
sudo yum install python27
四、验证是否安装了Python2.7:
source /opt/rh/python27/enable
python --version
Impala Requirements(略)
基于包的cdh安装所需的特权(略)