sqoop 从mysql导入数据到HDFS

时间 2019-11-20

标签 sqoop mysql 导入数据 hdfs 栏目 MySQL 繁體版

原文原文链接

1.准备sqoop和hdfs环境mysql

（暂略）sql

2.新建配置文件optionoop

import
--connect
jdbc:mysql://{MYSQL_HOST}:3306/ingestion_db1?serverTimezone=UTC&rewriteBatchedStatements=true
--username
root
--password
123456--columns
id,brandcode,isdeleted
--where
1=1
--table
rbrand
--target-dir
/tmp/sqoop/data
--as-textfile
--fields-terminated-by
','
-m
1

rbrand是要导出的表，以下：spa

3.执行sqoop命令开始导出code

sqoop --options-file option

4.执行HDFS命令检查导出结果server

hadoop fs -cat /tmp/sqoop/data/part-m-00000