HUE配置文件hue.ini 的sqoop模块详解（图文详解）（分HA集群和非HA集群）

 

 

 

很少说，直接上干货！

　　个人集群机器状况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12）

　　而后，安装目录是在/home/hadoop/app下。

 

　　官方建议在master机器上安装Hue，我这里也不例外。安装在bigdatamaster机器上。

 

　Hue版本：hue-3.9.0-cdh5.5.4

 须要编译才能使用（联网）


　说给你们的话：你们电脑的配置好的话，必定要安装cloudera manager。毕竟是一家人的。
同时，我也亲身经历过，会有部分组件版本出现问题安装起来要个大半天时间去排除，作好内心准备。废话很少说，由于我目前读研，本身笔记本电脑最大8G，只能玩手动来练手。
纯粹是为了给身边没高配且条件有限的学生党看的！ 但我已经在实验室机器群里搭建好cloudera manager 以及 ambari都有。

大数据领域两大最主流集群管理工具Ambari和Cloudera Manger

Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

Ambari安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

 

 

 

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl

 

 

 

 

 

 

 

 

　　1、默认的sqoop配置文件

 

 

 

 

 

 

2、如下是跟我机器集群匹配的配置文件（非HA集群下怎么配置Hue的sqoop模块）

 　　个人集群是bigdatamaster、bigdataslave1和bigdataslave2组成的3节点非HA集群。

　　 对于sqoop的安装，我通常是只安装在bigdatamaster就好。如同跟hive同样也是只安装在bigdatamaster上。

###########################################################################
# Settings to configure Sqoop2
###########################################################################

[sqoop]
  # For autocompletion, fill out the librdbms section.

  # Sqoop server URL
  server_url=http://bigdatamaster:12000/sqoop

  # Path to configuration directory
  sqoop_conf_dir=/home/hadoop/app/sqoop/server/conf

 

 

 

 

 

 

 

 

3、如下是跟我机器集群匹配的配置文件（HA集群下怎么配置Hue的sqoop模块）

 　　跟非HA集群的配法是同样的。

 

 

 

 

 

 

 

 

 

 　　

　　你们要注意，Hue里是只支持Sqoop2版本，对于Sqoop1和Sqoop2版本，直接去官网看就得了。

 

 

 

 

 

　　由于，sqoop1 和 sqoop2仍是不一样的

 

 

　　同时，二者的环境变量也不同。

 

 　　这里很少说，你们去看个人这篇博客

sqoop2-1.99.5-cdh5.5.4.tar.gz的部署搭建

 

 

 

 

Sqoop2所有配置好以后，按照以下的顺序来

　　一、启动Sqoop2的server（我这里作个最简单的，在bigdatamaster上）。启动sqoop服务

$SQOOP_HOME/bin/sqoop.sh server start  

 

[hadoop@bigdatamaster hadoop]$ cd $SQOOP_HOME
[hadoop@bigdatamaster sqoop]$ pwd
/home/hadoop/app/sqoop [hadoop@bigdatamaster sqoop]$ $SQOOP_HOME/bin/sqoop.sh server start Sqoop home directory: /home/hadoop/app/sqoop Setting SQOOP_HTTP_PORT: 12000 Setting SQOOP_ADMIN_PORT: 12001 Using CATALINA_OPTS: Adding to CATALINA_OPTS: -Dsqoop.http.port=12000 -Dsqoop.admin.port=12001 Using CATALINA_BASE: /home/hadoop/app/sqoop/server Using CATALINA_HOME: /home/hadoop/app/sqoop/server Using CATALINA_TMPDIR: /home/hadoop/app/sqoop/server/temp Using JRE_HOME: /home/hadoop/app/jdk Using CLASSPATH: /home/hadoop/app/sqoop/server/bin/bootstrap.jar [hadoop@bigdatamaster sqoop]$ jps 2200 QuorumPeerMain 2339 NameNode 2973 Bootstrap 2984 Jps 2495 SecondaryNameNode 2669 ResourceManager [hadoop@bigdatamaster sqoop]$ 

　　jsp命令看到Bootstrap进程。

 

 

 

　　二、启动Sqoop2的client（我这里作个最简单的，在bigdatamaster上），进入客户端交互模式。进入sqoop控制台  

$SQOOP_HOME/bin/sqoop.sh client  

 

[hadoop@bigdatamaster sqoop]$ pwd
/home/hadoop/app/sqoop [hadoop@bigdatamaster sqoop]$ $SQOOP_HOME/bin/sqoop.sh client Sqoop home directory: /home/hadoop/app/sqoop May 07, 2017 8:26:47 PM java.util.prefs.FileSystemPreferences$1 run INFO: Created user preferences directory. Sqoop Shell: Type 'help' or '\h' for help. sqoop:000> 

 

 

 

 

 

 

　　三、在Sqoop2的client链接Sqoop2的server 。 链接服务器  

sqoop:000> set server --host bigdatamaster  --port 12000  --webapp sqoop

sqoop:000> set server --host localhost  --port 12000  --webapp sqoop

sqoop:000> show version --all 

　　当看到show version -all正确的显示 就说明了Sqoop2的client链接上了Sqoop2的服务器。

 

　　show version --all            显示服务器、客户端的版本信息，若是server显示错误，

　　　　重启一下 server./sqoop.sh server stop  

 

 　　

 

 

 

 

 

 

 

欢迎你们，加入个人微信公众号：大数据躺过的坑        人工智能躺过的坑

 

 

 

同时，你们能够关注个人我的博客：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   详情请见：http://www.cnblogs.com/zlslch/p/7473861.html

 

　　人生苦短，我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神，汇聚于互联网和我的学习工做的精华干货知识，一切来于互联网，反馈回互联网。
　　目前研究领域：大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及：Java、Scala、Python、Shell、Linux等 。同时还涉及日常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里，天天必须有收获

 

      对应本平台的讨论和答疑QQ群：大数据和人工智能躺过的坑（总群）（161156071）