Zookeeper、Hdfs配置kerberos认证

时间 2019-11-06

标签 zookeeper hdfs 配置 kerberos 认证栏目 Zookeeper 繁體版

原文原文链接

1、Zookeeper配置kerberos认证

一、环境说明

根据以前的组件安排以下：html

172.16.57.74 bd-ops-test-74 kdc zookeeper-client
172.16.57.75 bd-ops-test-75 zookeeper
172.16.57.76 bd-ops-test-76 zookeeper
172.16.57.77 bd-ops-test-77 zookeeper

二、配置 ZooKeeper Server

2.1生成keytab

在 74 节点，即 KDC server 节点上执行下面命令：java

kadmin.local -q "addprinc -randkey zookeeper/bd-ops-test-75@BIGDATA.COM "
kadmin.local -q "addprinc -randkey zookeeper/bd-ops-test-76@BIGDATA.COM "
kadmin.local -q "addprinc -randkey zookeeper/bd-ops-test-77@BIGDATA.COM "

kadmin.local -q "xst  -k zookeeper.keytab  zookeeper/bd-ops-test-75@BIGDATA.COM "
kadmin.local -q "xst  -k zookeeper.keytab  zookeeper/bd-ops-test-76@BIGDATA.COM "
kadmin.local -q "xst  -k zookeeper.keytab  zookeeper/bd-ops-test-77@BIGDATA.COM "

拷贝 zookeeper.keytab 文件到其余节点的 /etc/zookeeper/conf 目录：node

# scp zookeeper.keytab bd-ops-test-xx:/etc/zookeeper/conf

并设置权限，分别在 7五、7六、77 上执行：web

# cd /etc/zookeeper/conf/;chown zookeeper:hadoop zookeeper.keytab ;chmod 400 *.keytab

因为 keytab 至关于有了永久凭证，不须要提供密码(若是修改 kdc 中的 principal 的密码，则该 keytab 就会失效)，因此其余用户若是对该文件有读权限，就能够冒充 keytab 中指定的用户身份访问 hadoop，因此 keytab 文件须要确保只对 owner 有读权限(0400)apache

2.2修改zookeeper配置文件

在 75 节点上修改 /etc/zookeeper/conf/zoo.cfg 文件，添加下面内容：api

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
jaasLoginRenew=3600000

将修改的上面文件同步到其余节点：7六、77：安全

# scp /etc/zookeeper/conf/zoo.cfg bd-ops-test-xx:/etc/zookeeper/conf/zoo.cfg

2.3建立 JAAS 配置文件

在 75 的zookeeper配置文件目录建立 jaas.conf 文件，内容以下：bash

Server {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  keyTab="/etc/zookeeper/conf/zookeeper.keytab"
  storeKey=true
  useTicketCache=true
  principal="zookeeper/bd-ops-test-75@BIGDATA.COM";
};

一样，在 76 和 77 节点也建立该文件，注意每一个节点的 principal 有所不一样。服务器

而后，在 /etc/zookeeper/conf/ 目录建立 java.env，内容以下：dom

export JVMFLAGS="-Djava.security.auth.login.config=/etc/zookeeper/conf/jaas.conf"
export JAVA_HOME=/opt/programs/jdk1.7.0_67/ #这一行是为了指定jdk路径

并将该文件同步到其余节点：

# scp /etc/zookeeper/conf/java.env bd-ops-test-xx:/etc/zookeeper/conf/java.env

2.4重启服务

依次重启，并观察日志：

# /etc/init.d/zookeeper-server restart

观察到以下信息，代表配置成功。

INFO  [main:Login@293] - successfully logged in.

三、配置 ZooKeeper Client

3.1生成keytab

74节点做为zookeeper-client进行测试

# cd /var/kerberos/krb5kdc/
kadmin.local -q "addprinc -randkey zkcli@BIGDATA.COM "
kadmin.local -q "xst  -k zkcli.keytab  zkcli@BIGDATA.COM "

将keytab文件拷贝到zookeeper配置目录

# cp zkcli.keytab /etc/zookeeper/conf/

并设置权限，执行：

# cd /etc/zookeeper/conf/;chown zookeeper:hadoop zkcli.keytab ;chmod 400 *.keytab

因为 keytab 至关于有了永久凭证，不须要提供密码(若是修改 kdc 中的 principal 的密码，则该 keytab 就会失效)，因此其余用户若是对该文件有读权限，就能够冒充 keytab 中指定的用户身份访问 hadoop，因此 keytab 文件须要确保只对 owner 有读权限(0400)

3.2建立 JAAS 配置文件

在 74 的配置文件目录 /etc/zookeeper/conf/ 建立 jaas.conf 文件，内容以下：

Client {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  keyTab="/etc/zookeeper/conf/zkcli.keytab"
  storeKey=true
  useTicketCache=true
  principal="zkcli@BIGDATA.COM";
};

而后，在 /etc/zookeeper/conf/ 目录建立或者修改 java.env，内容以下：

export JVMFLAGS="-Djava.security.auth.login.config=/etc/zookeeper/conf/jaas.conf"

3.3 验证

启动客户端：

# zookeeper-client -server bd-ops-test-75:2181

观看日志消息：

[zk: bd-ops-test-75:2181(CONNECTING) 0] 2016-09-04 21:05:39,089 [myid:] - INFO  [main-SendThread(bd-ops-test-75:2181):Login@293] - successfully logged in.

建立一个 znode 节点：

[zk: bd-ops-test-75:2181(CONNECTED) 0] create /znode11 sasl:zkcli@BIGDATA.COM:cdwra
Created /znode11

验证该节点是否建立以及其 ACL：

[zk: bd-ops-test-75:2181(CONNECTED) 2] getAcl /znode11
'world,'anyone
: cdrwa

2、HDFS配置Kerberos认证

1.建立认证规则

在 Kerberos 安全机制里，一个 principal 就是 realm 里的一个对象，一个 principal 老是和一个密钥（secret key）成对出现的。

这个 principal 的对应物能够是 service，能够是 host，也能够是 user，对于 Kerberos 来讲，都没有区别。

Kdc(Key distribute center) 知道全部 principal 的 secret key，但每一个 principal 对应的对象只知道本身的那个 secret key 。这也是“共享密钥“的由来。

对于 hadoop，principals 的格式为 username/fully.qualified.domain.name@YOUR-REALM.COM。

经过 yum 源安装的 cdh 集群中，NameNode 和 DataNode 是经过 hdfs 启动的，故为集群中每一个服务器节点添加两个principals：hdfs、HTTP。

在 KCD server 上（这里是 74）建立 hdfs principal：

kadmin.local -q "addprinc -randkey hdfs/bd-ops-test-74@BIGDATA.COM"
kadmin.local -q "addprinc -randkey hdfs/bd-ops-test-75@BIGDATA.COM"
kadmin.local -q "addprinc -randkey hdfs/bd-ops-test-76@BIGDATA.COM"
kadmin.local -q "addprinc -randkey hdfs/bd-ops-test-77@BIGDATA.COM"

-randkey 标志没有为新 principal 设置密码，而是指示 kadmin 生成一个随机密钥。之因此在这里使用这个标志，是由于此 principal 不须要用户交互。它是计算机的一个服务器账户。

建立 HTTP principal：

kadmin.local -q "addprinc -randkey HTTP/bd-ops-test-74@BIGDATA.COM"
kadmin.local -q "addprinc -randkey HTTP/bd-ops-test-75@BIGDATA.COM"
kadmin.local -q "addprinc -randkey HTTP/bd-ops-test-76@BIGDATA.COM"
kadmin.local -q "addprinc -randkey HTTP/bd-ops-test-77@BIGDATA.COM"

建立完成后，查看：

# kadmin.local -q "listprincs"

二、建立keytab文件

keytab 是包含 principals 和加密 principal key 的文件。keytab 文件对于每一个 host 是惟一的，由于 key 中包含 hostname。keytab 文件用于不须要人工交互和保存纯文本密码，实现到 kerberos 上验证一个主机上的 principal。由于服务器上能够访问 keytab 文件便可以以 principal 的身份经过 kerberos 的认证，因此，keytab 文件应该被妥善保存，应该只有少数的用户能够访问。

在 cdh1 节点，即 KDC server 节点上执行下面命令，建立包含 hdfs principal 和 host principal 的 hdfs keytab：

# cd /var/kerberos/krb5kdc/

kadmin.local -q "xst  -k hdfs-unmerged.keytab  hdfs/bd-ops-test-74@BIGDATA.COM"
kadmin.local -q "xst  -k hdfs-unmerged.keytab  hdfs/bd-ops-test-75@BIGDATA.COM"
kadmin.local -q "xst  -k hdfs-unmerged.keytab  hdfs/bd-ops-test-76@BIGDATA.COM"
kadmin.local -q "xst  -k hdfs-unmerged.keytab  hdfs/bd-ops-test-77@BIGDATA.COM"

kadmin.local -q "xst  -k HTTP.keytab  HTTP/bd-ops-test-74@BIGDATA.COM"
kadmin.local -q "xst  -k HTTP.keytab  HTTP/bd-ops-test-75@BIGDATA.COM"
kadmin.local -q "xst  -k HTTP.keytab  HTTP/bd-ops-test-76@BIGDATA.COM"
kadmin.local -q "xst  -k HTTP.keytab  HTTP/bd-ops-test-77@BIGDATA.COM"

这样，就会在 /var/kerberos/krb5kdc/ 目录下生成 hdfs-unmerged.keytab 和 HTTP.keytab 两个文件，接下来使用 ktutil 合并者两个文件为 hdfs.keytab。

# cd /var/kerberos/krb5kdc/

# ktutil
ktutil: rkt hdfs-unmerged.keytab
ktutil: rkt HTTP.keytab
ktutil: wkt hdfs.keytab
ktutil: exit

使用 klist 显示 hdfs.keytab 文件列表：

#klist -ket hdfs.keytab 
Keytab name: FILE:hdfs.keytab
KVNO Timestamp         Principal
---- ----------------- --------------------------------------------------------
   2 08/31/16 15:49:15 hdfs/bd-ops-test-74@BIGDATA.COM (aes256-cts-hmac-sha1-96) 
   2 08/31/16 15:49:15 hdfs/bd-ops-test-74@BIGDATA.COM (aes128-cts-hmac-sha1-96)
.......

验证是否正确合并了key，使用合并后的keytab，分别使用hdfs和host principals来获取证书。

# kinit -k -t hdfs.keytab hdfs/bd-ops-test-74@BIGDATA.COM
# kinit -k -t hdfs.keytab HTTP/bs-ops-test-74@BIGDATA.COM

若是出现错误：kinit: Key table entry not found while getting initial credentials，则上面的合并有问题，从新执行前面的操做。

三、部署kerberos keytab文件

拷贝 hdfs.keytab 文件到其余节点的 /etc/hadoop/conf 目录

# cd /var/kerberos/krb5kdc/

# scp hdfs.keytab bd-ops-test-xx:/etc/hadoop/conf

并设置权限，并在各节点上执行：

chown hdfs:hadoop /etc/hadoop/conf/hdfs.keytab ;chmod 400 /etc/hadoop/conf/hdfs.keytab

因为 keytab 至关于有了永久凭证，不须要提供密码(若是修改kdc中的principal的密码，则该keytab就会失效)，因此其余用户若是对该文件有读权限，就能够冒充 keytab 中指定的用户身份访问 hadoop，因此 keytab 文件须要确保只对 owner 有读权限(0400)

四、修改hdfs配置文件

在集群中全部节点的 core-site.xml 文件中添加下面的配置:

<property>
  <name>hadoop.security.authentication</name>
  <value>kerberos</value>
</property>

<property>
  <name>hadoop.security.authorization</name>
  <value>true</value>
</property>

在集群中全部节点的 hdfs-site.xml 文件中添加下面的配置：

<property>
  <name>dfs.block.access.token.enable</name>
  <value>true</value>
</property>
<property>  
  <name>dfs.datanode.data.dir.perm</name>  
  <value>700</value>  
</property>
<property>
  <name>dfs.namenode.keytab.file</name>
  <value>/etc/hadoop/conf/hdfs.keytab</value>
</property>
<property>
  <name>dfs.namenode.kerberos.principal</name>
  <value>hdfs/_HOST@BIGDATA.COM</value>
</property>
<property>
  <name>dfs.namenode.kerberos.https.principal</name>
  <value>HTTP/_HOST@BIGDATA.COM</value>
</property>
<property>
  <name>dfs.datanode.address</name>
  <value>0.0.0.0:1004</value>
</property>
<property>
  <name>dfs.datanode.http.address</name>
  <value>0.0.0.0:1006</value>
</property>
<property>
  <name>dfs.datanode.keytab.file</name>
  <value>/etc/hadoop/conf/hdfs.keytab</value>
</property>
<property>
  <name>dfs.datanode.kerberos.principal</name>
  <value>hdfs/_HOST@BIGDATA.COM</value>
</property>
<property>
  <name>dfs.datanode.kerberos.https.principal</name>
  <value>HTTP/_HOST@BIGDATA.COM</value>
</property>

因为 HDFS 配置了 QJM HA，则另须要添加：

<property>
  <name>dfs.journalnode.keytab.file</name>
  <value>/etc/hadoop/conf/hdfs.keytab</value>
</property>
<property>
  <name>dfs.journalnode.kerberos.principal</name>
  <value>hdfs/_HOST@BIGDATA.COM</value>
</property>
<property>
  <name>dfs.journalnode.kerberos.internal.spnego.principal</name>
  <value>HTTP/_HOST@BIGDATA.COM</value>
</property>

若是配置了 WebHDFS，则添加：

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

<property>
  <name>dfs.web.authentication.kerberos.principal</name>
  <value>HTTP/_HOST@BIGDATA.COM</value>
</property>

<property>
  <name>dfs.web.authentication.kerberos.keytab</name>
  <value>/etc/hadoop/conf/hdfs.keytab</value>
</property>

配置中有几点要注意的：

dfs.datanode.address表示 data transceiver RPC server 所绑定的 hostname 或 IP 地址，若是开启 security，端口号必须小于 1024(privileged port)，不然的话启动 datanode 时候会报 Cannot start secure cluster without privileged resources 错误
principal 中的 instance 部分可使用 _HOST 标记，系统会自动替换它为全称域名
若是开启了 security, hadoop 会对 hdfs block data(由 dfs.data.dir 指定)作 permission check，方式用户的代码不是调用hdfs api而是直接本地读block data，这样就绕过了kerberos和文件权限验证，管理员能够经过设置 dfs.datanode.data.dir.perm 来修改 datanode 文件权限，这里咱们设置为700

五、检查集群上的 HDFS 和本地文件的权限

请参考 Verify User Accounts and Groups in CDH 5 Due to Security 或者 Hadoop in Secure Mode。

六、启动NameNode

启动以前先启动JournalNode

# service hadoop-hdfs-journalnode start

观察日志，启动成功：

# cat /var/log/hadoop-hdfs/hadoop-hdfs-journalnode-bd-ops-test-75.log 
2016-09-04 22:24:52,714 INFO org.apache.hadoop.security.UserGroupInformation: Login successful for user hdfs/bd-ops-test-75@BIGDATA.COM using keytab file /etc/hadoop/conf/hdfs.keytab

获取 7四、75的 ticket：

# kinit -k -t /etc/hadoop/conf/hdfs.keytab hdfs/bd-ops-test-xx@BIGDATA.COM

而后启动服务，观察日志：

# /etc/init.d/hadoop-hdfs-namenode start

成功启动后日志显示以下信息：

2016-09-04 22:56:43,413 INFO org.apache.hadoop.security.UserGroupInformation: Login successful for user hdfs/bd-ops-test-75@BIGDATA.COM using keytab file /etc/hadoop/conf/hdfs.keytab

七、启动DataNode

DataNode 须要经过 JSVC 启动。首先检查是否安装了 JSVC 命令，而后配置环境变量。

在各节点查看是否安装了 JSVC：

# ls /usr/lib/bigtop-utils/
bigtop-detect-classpath  bigtop-detect-javahome  bigtop-detect-javalibs  jsvc

而后编辑 /etc/default/hadoop-hdfs-datanode，取消对下面的注释并添加一行设置 JSVC_HOME，修改以下：

export HADOOP_SECURE_DN_USER=hdfs
export HADOOP_SECURE_DN_PID_DIR=/var/run/hadoop-hdfs
export HADOOP_SECURE_DN_LOG_DIR=/var/log/hadoop-hdfs

export JSVC_HOME=/usr/lib/bigtop-utils

在各节点获取 ticket 而后启动服务：

kinit -k -t /etc/hadoop/conf/hdfs.keytab hdfs/bd-ops-test-xx@BIGDATA.COM; service hadoop-hdfs-datanode start

观察日志，出现下面日志表示 DataNode 启动成功：

2016-09-04 23:09:26,163 INFO org.apache.hadoop.security.UserGroupInformation: Login successful for user hdfs/bd-ops-test-77@BIGDATA.COM using keytab file /etc/hadoop/conf/hdfs.keytab