sqoop1 导出与hue oozie踩坑

多是不一样版本不一样吧，按网友的最终改成：

export --connect jdbc:mysql://172.16.5.100:3306/dw_test --username testuser --password ****** --table che100kv --export-dir /user/hive/warehouse/che100kv0/000000_0 --input-fields-terminated-by \001 -m 1

报错： Error during export: 
Export job failed!
    at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:439)
    at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931)
    at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:

<<< Invocation of Sqoop command completed <<<

Hadoop Job IDs executed by Sqoop: job_1534936991079_0934

Intercepting System.exit(1)

<<< Invocation of Main class completed <<<

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]

Oozie Launcher failed, finishing Hadoop job gracefully

Oozie Launcher, uploading action data to HDFS sequence file: hdfs://master:8020/user/hue/oozie-oozi/0000099-180903155753468-oozie-oozi-W/sqoop-4411--sqoop/action-data.seq

后必须 加--columns且表名 字段等对应：

export --connect jdbc:mysql://172.16.5.100:3306/dw_test --username testuser --password *** --table che100kv --export-dir /user/hive/warehouse/che100kv0 --input-fields-terminated-by \001 -m 1 --columns db_t_f,k,v --update-key db_t_f --update-mode allowinsert --batch

后又报null转化错误：

sqoop export --connect "jdbc:mysql://172.16.5.100:3306/dw_test?useUnicode=true&characterEncoding=utf-8"  --username testuser --password ********* --table dimbrandstylemoudle  --export-dir '/user/hive/warehouse/dimbrandstylemoudle/'   --input-null-string "\\\\N" --input-null-non-string "\\\\N" --input-fields-terminated-by "\001" --input-lines-terminated-by "\\n" -m 1

而后在HUE里引号转码bug没法同时兼备--！

 Sqoop查看更多调式信息， 增长关键字--verbose

sqoop export --connect jdbc:mysql://192.168.119.129:3306/student?characterEncoding=utf8 --username li72 --password 123 --verbose --table dm_trlog --export-dir /home/bigdata/hive/data/db1.db/trlog --input-fields-terminated-by '\t' --null-non-string '0' --null-string '0';

类型转换最终方法，修改生成的Java类，从新打包。

每次经过sqoop导入MySql的时，都会生成一个以MySql表命名的.java文件，而后打成JAR包，给sqoop提交给hadoop 的MR来解析Hive表中的数据。那能够根据报的错误，找到对应的行，改写该文件，编译，从新打包，sqoop能够经过 -jar-file ，--class-name 组合让咱们指定运行本身的jar包中的某个class。来解析该hive表中的每行数据。脚本以下：一个完整的例子以下：  ./bin/sqoop export --connect "jdbc:mysql://192.168.119.129:3306/student?useUnicode=true&characterEncoding=utf-8"  --username li72 --password 123 --table dm_trlog  --export-dir /hive/warehouse/trlog --input-fields-terminated-by '\t'  --input-null-string '\\N' --input-null-non-string '\\N'  --class-name com.li72.trlog  --jar-file /tmp/sqoopTempjar/trlog.jar  上面--jar-file 参数指定jar包的路径。--class-name 指定jar包中的class。  这样就能够解决全部解析异常了。