Mysql加载本地CSV文件

Mysql加载本地CSV文件

1.系统环境

• 系统版本：Win10 64位
• Mysql版本： 8.0.15 MySQL Community Server - GPL
• Mysql Workbench版本：Version 8.0.15 build(64bits) Community

2.准备工做

无论是使用Workbench仍是命令行来加载本地数据，均可以先使用Workbench进行数据库、表的建立工做。

3.使用Workbench进行加载

• 当数据量不是很大时(万级之内）时，可使用Workbench进行加载，优势是能够根据引导一步一步操做。
• 操做过程当中碰到的问题：进入引导界面并选择待加载的文件后，软件提示Unhandled exception:("Incorrect database name"",1102），直接指示数据库名为空，而且报错。缘由是将须要将当前数据库设置为默认数据库(右键当前数据库而后选择Set as Default Scheme)，否则Workbench会找不到默认数据库，从而报一个数据库名为空的错误。
• 剩下的步骤根据指示完成便可。

4.使用命令行进行加载

4.1 命令语法

LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt'     [REPLACE | IGNORE]     INTO TABLE tbl_name     [FIELDS         [TERMINATED BY 'string']         [[OPTIONALLY] ENCLOSED BY 'char']         [ESCAPED BY 'char' ]     ]     [LINES         [STARTING BY 'string']         [TERMINATED BY 'string']     ]     [IGNORE number LINES]     [(col_name_or_user_var,...)]     [SET col_name = expr,...)]

 load data infile语句从一个文本文件中以很高的速度读入一个表中。使用这个命令以前，mysqld进程（服务）必须已经在运行。因为安全缘由，当读取位于服务器上的文件时，文件必须处于数据库目录或可被全部人读取。另外，为了对服务器上文件使用load data infile，在服务器主机上必须有file的权限。

• 若是指定关键词low_priority，那么MySQL将会等到没有其余人读这个表的时候，才把数据插入。可使用以下的命令： 

  load data  low_priority infile "/home/mark/data sql" into table Orders;

• 若是指定local关键词，则代表从客户主机读文件。若是local没指定，文件必须位于服务器上。
• replace和ignore关键词控制对现有的惟一键记录的重复的处理。若是你指定replace，新行将代替有相同的惟一键值的现有行。若是你指定ignore，跳过有惟一键的现有行的重复行的输入。若是你不指定任何一个选项，当找到重复键时，出现一个错误，而且文本文件的余下部分被忽略。例如：

  load data  low_priority infile "/home/mark/data sql" replace into table Orders;

• 分隔符：
  • fields关键字指定了文件字段的分割格式，若是用到这个关键字，MySQL剖析器但愿看到至少有下面的一个选项：
    
    • terminated by：以什么字符做为分隔符
    • enclosed by：字段闭合标签
    • escaped by：转义字符
    • terminated by：描述字段的分隔符，默认状况下是tab字符（\t） 
    • enclosed by：描述的是字段的括起字符
    • escaped by：描述的转义字符。默认的是反斜杠（backslash：\ ）
  • lines 关键字指定了每条记录的分隔符默认为'\n'即为换行符：
    
    • 若是两个字段都指定了，那fields必须在lines以前。若是不指定fields关键字，缺省值与这样写相同：fields terminated by'\t' enclosed by ’ '' ‘ escaped by'\\'
    • 若是你不指定一个lines子句，缺省值与这样写的相同： lines terminated by'\n'
  • [IGNORE number LINES]  忽略特定行数，CSV文件能够忽略掉第一行标题

4.2 操做过程当中的问题

运行以下代码：

mysql> LOAD DATA LOCAL INFILE 'D:/XXX.csv' INTO TABLE database.tablename FIELDS TERMINATED BY ',';

出现以下错误：

ERROR 1148 (42000): The used command is not allowed with this MySQL version

缘由是服务器端，local_infile默认开启；客户端，local_infile默认关闭，所以用的时候须要打开。

查看local_infile变量的状态：

mysql> show global variables like 'local_infile'; +---------------+-------+
| Variable_name | Value |
+---------------+-------+
| local_infile  | OFF    |
+---------------+-------+

 显示为关闭状态，使用以下命令打开：

mysql> set global local_infile = 'ON';

并再次查看：

mysql> show global variables like 'local_infile'; +---------------+-------+
| Variable_name | Value |
+---------------+-------+
| local_infile  | ON    |
+---------------+-------+

而后再进行导入工做：

mysql> LOAD DATA LOCAL INFILE 'D:/XXX.csv' INTO TABLE database.tablename FIELDS TERMINATED BY ',';

仍然报一样的错误：

ERROR 1148 (42000): The used command is not allowed with this MySQL version

退出mysql，用以下命令进行登录：

$ mysql --local-infile=1 -u root -p

而后就可以正常进行正常加载了：

mysql> load data local infile 'E:/Documents/user_utf.csv' into table data.user fields terminated by ','; Query OK, 101535 rows affected, 65535 warnings (1.08 sec) Records: 101535  Deleted: 0  Skipped: 0  Warnings: 69457

 

5.参考资料

• load data infile语法详解
• load data infile参数详解
• windows下MySQL8中LOAD DATA INFILE出现The used command is not allowed with this MySQL version问题