hadoop、hive、sqoop安装备忘

因为各版本之间兼容问题 ，这里记下本次环境搭建遇到的各类问题。

版本：

    hadoop-2.6.0

    hive-1..2.1

    sqoop-1.99.7

简单说明一下，而后再记录各个模块的问题。

hadoop目前最新版是2.7.0，新特性自行百度，起初为了尝鲜安装了2.7.0，但在配合hive2.1.0的时候，hive可以建立、查询、删除表，可是insert、load报链接拒绝异常，估计是hive2.1.0使用了什么命令去操做hadoop2.7.0，可是不兼容，进而致使命令拒绝引起的异常，故而将hive版本降至1.2.1问题解决。随后使用sqoop1.99.7，在建立link没问题，可是执行job时一样出现链接拒绝异常，无奈，只能将hadoop版本将至2.6.0，降至2.6.0后，问题解决，而且mysql->hdfs、hdfs->mysql可以正常稳定运行，只有sqoop的增量导入暂时还没看懂api，不过sqoop在把数据从mysql转移到hdfs后，hive每次load都会移除已使用的文件。

下面说下遇到的问题，因为当时没记录，这里大概说一下：

hadoop

    一、免密注意修改hostname

    二、控制台没法显示dataname、put/cat报错，检查防火墙是否关闭

    三、dataname链接不到namenode，检查host，不要把127.0.0.1对应到hostname，不然9000端口会被绑定到127.0.0.1致使其它ip没法访问

    四、hadoop版本差别致使命令差别，实际运用时，若不懂，直接输已知的命令，若不对，hadoop会提示新命令，而后给出api

hive

    hive问题没有那么多，主要注意版本兼容问题就行了，还有若是报错，最后看下hadoop的日志

sqoop

    跟hive同样，注意版本兼容问题，还有建立link及job的时候，注意每一项参数什么意思，好比hdfs的会填个uri，好比hdfs：//localhost：9000，那你在建立job的时候，在填地址的时候也要以这个开头，不然报错。这里推荐两篇博客，有助于sqoop的使用

http://blog.csdn.net/u012842205/article/details/52344196

http://blog.csdn.net/u012842205/article/details/52346595