第1节 HUE：1四、1五、1六、hue与hdfs、yarn集群、hive、impala、mysql的整合

三、hue与其余框架的集成

3.一、hue与hadoop的HDFS以及yarn集成

第一步：更改全部hadoop节点的core-site.xml配置

记得更改完core-site.xml以后必定要重启hdfs与yarn集群

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property>

第二步：更改全部hadoop节点的hdfs-site.xml

<property>

      <name>dfs.webhdfs.enabled</name>

      <value>true</value>

    </property>

第三步：重启hadoop集群

在node01机器上面执行如下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0

sbin/stop-dfs.sh

sbin/start-dfs.sh

sbin/stop-yarn.sh

sbin/start-yarn.sh

 

第四步：中止hue的服务，并继续配置hue.ini

cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf

vim hue.ini

配置咱们的hue与hdfs集成

[[hdfs_clusters]]

    [[[default]]]

fs_defaultfs=hdfs://node01.hadoop.com:8020

webhdfs_url=http://node01.hadoop.com:50070/webhdfs/v1

hadoop_hdfs_home=/export/servers/hadoop-2.6.0-cdh5.14.0

hadoop_bin=/export/servers/hadoop-2.6.0-cdh5.14.0/bin

hadoop_conf_dir=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

 

 

配置咱们的hue与yarn集成

[[yarn_clusters]]

    [[[default]]]

      resourcemanager_host=node01

      resourcemanager_port=8032

      submit_to=True

      resourcemanager_api_url=http://node01:8088

      history_server_api_url=http://node01:19888

 

3.二、配置hue与hive集成

若是须要配置hue与hive的集成，咱们须要启动hive的metastore服务以及hiveserver2服务（impala须要hive的metastore服务，hue须要hive的hiveserver2服务）

更改hue的配置hue.ini

修改hue.ini

[beeswax]

  hive_server_host=node03.hadoop.com

  hive_server_port=10000

  hive_conf_dir=/export/servers/hive-1.1.0-cdh5.14.0/conf

  server_conn_timeout=120

  auth_username=root

  auth_password=123456

 

[metastore]

  #容许使用hive建立数据库表等操做

  enable_new_create_table=true

启动hive的metastore服务

去node03机器上启动hive的metastore以及hiveserver2服务

cd /export/servers/hive-1.1.0-cdh5.14.0

nohup bin/hive --service metastore & （若是配置了hive的环境变量，则能够省略bin/的路径）

nohup bin/hive --service hiveserver2 &（若是配置了hive的环境变量，则能够省略bin/的路径）

 

从新启动hue，而后就能够经过浏览器页面操做hive了

 

3.三、配置hue与impala的集成

中止hue的服务进程

修改hue.ini配置文件

[impala]

  server_host=node03

  server_port=21050

  impala_conf_dir=/etc/impala/conf

3.四、配置hue与mysql的集成

找到databases 这个选项，将这个选项下面的mysql注释给打开，而后配置mysql便可,大概在1547行

[[[mysql]]]

      nice_name="My SQL DB"

      engine=mysql

      host=node03.hadoop.com

      port=3306

      user=root

      password=123456

 

3.五、从新启动hue的服务

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor

 

 

3.六、解决hive以及impala执行权限不足的问题

在咱们hive当中执行任意的查询，只要是须要跑MR的程序，就会报错，发现权限不够的异常，具体详细信息以下：

 

INFO  : Compiling command(queryId=root_20180625191616_d02efd23-2322-4f3d-9cb3-fc3a06ff4ce0): select count(1) from mystu

INFO  : Semantic Analysis Completed

INFO  : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:_c0, type:bigint, comment:null)], properties:null)

INFO  : Completed compiling command(queryId=root_20180625191616_d02efd23-2322-4f3d-9cb3-fc3a06ff4ce0); Time taken: 0.065 seconds

INFO  : Concurrency mode is disabled, not creating a lock manager

INFO  : Executing command(queryId=root_20180625191616_d02efd23-2322-4f3d-9cb3-fc3a06ff4ce0): select count(1) from mystu

INFO  : Query ID = root_20180625191616_d02efd23-2322-4f3d-9cb3-fc3a06ff4ce0

INFO  : Total jobs = 1

INFO  : Launching Job 1 out of 1

INFO  : Starting task [Stage-1:MAPRED] in serial mode

INFO  : Number of reduce tasks determined at compile time: 1

INFO  : In order to change the average load for a reducer (in bytes):

INFO  :   set hive.exec.reducers.bytes.per.reducer=<number>

INFO  : In order to limit the maximum number of reducers:

INFO  :   set hive.exec.reducers.max=<number>

INFO  : In order to set a constant number of reducers:

INFO  :   set mapreduce.job.reduces=<number>

ERROR : Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException(Permission denied: user=admin, access=EXECUTE, inode="/tmp":root:supergroup:drwxrwx---

 

咱们须要给hdfs上面的几个目录执行权限便可

hdfs  dfs  -chmod o+x /tmp

hdfs  dfs  -chmod o+x  /tmp/hadoop-yarn

hdfs  dfs  -chmod o+x  /tmp/hadoop-yarn/staging

 

或者咱们能够这样执行

hdfs  dfs  -chmod -R o+x /tmp

能够将/tmp目录下全部的文件及文件夹都赋予权限

继续执行hive的任务就不会报错了

=========================================================

课程总结：

impala：sql语句的一个查询工具，
特色：比较快
缺点：占用内存大

impala架构：
impala-server：从节点 主要用于执行sql语句的查询
impala-catalog：主节点 主要用于存储元数据信息
impala-state-store: 主节点 主要用于保存一些sql语句的执行状态

impala的安装：没有提供tar.gz的安装包，使用rpm的安装包来进行安装
下载一个rpm的仓库，5个G，全部的大数据软件均可以经过rpm包方式来进行安装

制做本地的yum源 搞定
第一个：配置文件
第二个：httpd服务
第三个：rpm的仓库

进行安装 搞定

impala的配置： 搞定
impala须要三个核心配置文件 hdfs-site.xml core-site.xml hive-site.xml
impala的配置文件也得须要更改

impala的语法的使用：

进入impala-shell以前的一些参数
impala-shell -q 与hive -e 相似，不进入impala的shell交互窗口直接执行sql语句
impala-shell -f 与hive -f 相似，直接执行sql脚本
impala-shell -r 刷新元数据信息，进入impala-shell以前刷新元数据信息，全量的刷新，若是数据量比较大，性能消耗比较大

进入impala-shell以后的一些参数
refresh dbName.tabName 局部的刷新，只刷新某张已经存在的表的元数据信息
invalidate metadata 全量的刷新，，适用于hive当中新建的数据库或者数据库表的状况

impala的建库建表语法：与hive建库建表如出一辙，参见hive的表建立

impala的sql语法：与hive的sql语法相似，参见hive的sql语法

impala的数据导入的几种方式： 搞定
load datal 这种加载数据的方式，只能从hdfs上面加载数据
insert into table select


impala java 开发 了解

------------------------------------------

hue：主要是与其余的各个框架整合使用，hue自己不提供任何的功能

能够与hdfs，以及yarn整合
能够与hive以及impala整合
能够与mysql整合

编译的时候可能会通不过：删了从新编译