HUE下载HDFS文件时报ERR_CONNECTION_TIMED_OUT错误的解决办法

时间 2020-03-18

标签 hue 下载 hdfs 文件时报 err connection timed 错误解决办法栏目 Hadoop 繁體版

原文原文链接

一、故障描述web

这是运行在公有云上的一套Hadoop集群，有一个公网IP将部分服务的端口映射出来供办公室访问。vim

数据分析师报告说：在HUE上面浏览HDFS文件，点击"download"准备下载时，会被重定向到 http://10.0.34.11:4032/webhdfs/v1/xk/logs/prd/game/xxxxx 相似的内网IP而且浏览器报错ERR_CONNECTION_TIMED_OUT，影响文件没法下载浏览器

二、思考与分析安全

从重定向的地址来看，是HUE调用了webhdfs的接口，可是这个地址被配置成了局域网IP，而办公室是不能直接访问服务的内网的，因此就会超时报错。服务器

三、解决方法oop

a)将webhdfs的IP、端口映射到公网，将设置安全组，只容许几个办公区的IP能够访问url

过程略……spa

b)修改HUE的配置文件，将参数webhdfs_url的值改为已映射的公网IPcode

cd /usr/local/service/hue/desktop/conf && cp pseudo-distributed.ini pseudo-distributed.ini.bak.20200114blog

vim pseudo-distributed.ini 将参数webhdfs_url的值改为已映射的公网IP

重启HUE服务

四、扩展

经过HUE，一次只能下载一个文件，若是须要一次性下载多个文件的话，能够考虑使用hdfs命令将文件/目录下载到Linux服务器上，例如：

hadoop dfs -get /xk/logs/prd/game/xxxx/xxxx/11    ~/tmp_dir/