Hadoop集群上搭建Ranger

There are two types of people in the world. I hate both of them.

 

Hadoop集群上搭建Ranger

在搭建Ranger工程以前，须要完成http://www.javashuo.com/article/p-cxwjocaa-ed.html 中的搭建Hadoop集群步骤。

准备到Ranger官网下载ranger的源码：http://ranger.apache.org/download.html

一、Ranger编译

Ranger编译的过程实在非虚拟机环境下完成的，下载好ranger源码后并解压，而后进入源码解压目录执行以下命令进行编译：

mvn clean compile package assembly:assembly install -Dmaven.test.skip=true

在编译过程当中可能会有一些异常，好比jar包没法下载(须要手动需官网下载并放入相应的位置)、UTF-8编码没法识别或是其余报错，根据提示修改下就OK了，问题不大；初次编译时间较长20分钟这样都不夸张，直到出现以下图中的 BUILD SUCCESS 则表示编译经过了：

同时会在ranger/target目录下生成咱们以后须要在虚拟机上用到的一系列安装包，以下图：

二、安装部署

在安装部署以前，还需在要部署的服务器服务器上安装下Mysql：http://www.javashuo.com/article/p-fllmwynm-go.html

1）上传以前本地编译好的ranger-2.0.0-SNAPSHOT-admin.tar.gz文件到tjt03机器上，并解压，而后修改解压后到install.properties文件；

解压：

[root@tjt03 opt]# tar -vxf ranger-2.0.0-SNAPSHOT-admin.tar.gz

修改install.properties 文件：

[root@tjt03 opt]# cd ranger-2.0.0-SNAPSHOT-admin/ [root@tjt03 ranger-2.0.0-SNAPSHOT-admin]# vi install.properties 

想要修改的地方有几处：

1. mysql-connector-java的jar包路径要能找获得：

SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar

 

2. 修改链接数据库的帐号密码、存储的数据库帐号密码：

db_root_user=root db_root_password=TANjintao@520
db_host=localhost 

db_name=ranger 
db_user=rangeradmin 
db_password=TANjintao@520

3. 修改成非集群：

# audit_store=solr audit_store=

4. 修改首页显示的插件：

policymgr_supportedcomponents=hive,hbase,hdfs,kms,knox,yarn

5. 修改Linux的用户、用户组和密码：

unix_user=root unix_user_pwd=tanjintao unix_group=root

6. 修改hadoop_conf:

hadoop_conf=/opt/hadoop-2.7.6/etc/hadoop

2) 安装Ranger Admin

Ranger Admin的运行环境须要python，执行 yum install python 简单安装下python便可：

[root@tjt03 ranger-2.0.0-SNAPSHOT-admin]# yum install python

而后，建立ranger数据库：

mysql> create database ranger

而后，修改下ranger数据库的字符集，执行下面的命令：

mysql>alter database ranger character set latin1; mysql>flush privileges;

而后，建立用户并受权，执行下面的命令便可：

grant all privileges on ranger.* to rangeradmin@localhost identified by 'TANjintao@520'; grant all privileges on *.* to root@localhost identified by 'TANjintao@520' with grant option; flush privileges;

上述的准备工做都OK后，就能够进入ranger-2.0.0-SNAPSHOT-admin目录执行安装命令：

[root@tjt03 ranger-2.0.0-SNAPSHOT-admin]# ./setup.sh

安装过程大概几分钟，终端显示安装成功后，本地链接远程服务器的数据库检查下是否有相应的数据库和表：

须要在tjt03机器上受权后才能够在本地链接远程数据库，执行以下命令：

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'TANjintao@520' WITH GRANT OPTION;

看到远程数据库以下图，就说明Ranger Admin安装成功了：

3）启动Ranger Admin 服务

[root@tjt03 ~]# ranger-admin start

(中止:ranger-admin stop ,重启:ranger-admin restart)

4）验证Ranger Admin服务,在浏览器中打开：http://172.16.114.132:6080 或是 http://tjt03:6080 若是出现Ranger的登陆界面,说明安装成功了. 登陆的用户名/密码:admin/admin

使用http://tjt03:6080  访问须要配置下本机的host 文件，配置以下：

Taojie:~ apple$ vi /etc/hosts

5）结果测试

 能够正常登陆看到以下界面，则安装OK：

tjt03域名登陆：admin/admin

3.二、安装hdfs-plugins

因为以前定义了NameNode的地址为 hdfs://tjt01:9000，使用hdfs-plugins插件必须安装在该主机上：

1）上传并解压ranger-2.0.0-SNAPSHOT-usersync.tar.gz 文件，而后修改install.properties；

[root@tjt01 opt]# tar -xzvf ranger-2.0.0-SNAPSHOT-usersync.tar.gz

[root@tjt01 ranger-2.0.0-SNAPSHOT-usersync]# vi install.properties 

修改1:

POLICY_MGR_URL=http://tjt03:6080
logdir=/var/log/ranger/usersync

修改2:

rangerUsersync_password=enums8000

2）安装usersync Plugin

[root@tjt01 ranger-2.0.0-SNAPSHOT-usersync]# ./setup.sh

执行结果：

3）启用usersync plugin插件

开机回自动启动，初次安装须要手动开启

[root@tjt01 ranger-2.0.0-SNAPSHOT-usersync]# ./ranger-usersync-services.sh start

3.3.2 安装hdfs-plugin

1）上传并解压ranger-2.0.0-SNAPSHOT-hdfs-plugin.tar.gz 文件

[root@tjt01 opt]# tar -xzvf ranger-2.0.0-SNAPSHOT-hdfs-plugin.tar.gz 

而后修改解压出来的 install.properties 文件：

[root@tjt01 ranger-2.0.0-SNAPSHOT-hdfs-plugin]# vi install.properties

修改以下：

POLICY_MGR_URL=http://tjt03:6080
REPOSITORY_NAME=hadoopdev COMPONENT_INSTALL_DIR_NAME=/opt/hadoop-2.7.6 XAAUDIT.HDFS.HDFS_DIR=hdfs://tjt01:9000/ranger/audit 
XAAUDIT.HDFS.DESTINATION_DIRECTORY=hdfs://tjt01:9000/ranger/audit/%app-
type%/%time:yyyyMMdd% CUSTOM_USER=root CUSTOM_GROUP=root

2）执行启动命令

[root@tjt01 ranger-2.0.0-SNAPSHOT-hdfs-plugin]# ./enable-hdfs-plugin.sh 

3）测试hdfs 插件

新建hdfs 服务：

测试hdfs 服务链接：

3.3 安装hive-plugin

1）上传并解压ranger-2.0.0-SNAPSHOT-hive-plugin.tar.gz；

[root@tjt01 opt]# tar -xzvf ranger-2.0.0-SNAPSHOT-hive-plugin.tar.gz

而后修改install.properties文件；

[root@tjt01 ranger-2.0.0-SNAPSHOT-hive-plugin]# vi install.properties 

修改以下：

POLICY_MGR_URL=http://tjt03:6080
REPOSITORY_NAME=hivedev COMPONENT_INSTALL_DIR_NAME=/usr/local/hive CUSTOM_USER=root CUSTOM_GROUP=root

2）执行启动命令：

[root@tjt01 ranger-2.0.0-SNAPSHOT-hive-plugin]# ./enable-hive-plugin.sh 

3）重启hive

3.4 安装hbase-plugin