mysql 大数据量迁移

MySQL导出的SQL语句在导入时若是数据量较大时会很是很是慢，经历过导入仅3000万条，用了近30个小时。在导出时合理使用几个参数，能够大大加快导入的速度。

 

-e 使用多VALUES的INSERT语法; 
--max_allowed_packet=XXX 客户端/服务器之间通讯的缓存区的最大大小; 
--net_buffer_length=XXX  TCP/IP和套接字通讯缓冲区大小,建立长度达net_buffer_length的行

注意：max_allowed_packet和net_buffer_length不能比目标数据库的配置数值大，不然可能出错。

 

首先肯定目标库的参数值 
mysql>show variables like 'max_allowed_packet'; 
mysql>show variables like 'net_buffer_length';

 

根据参数值书写mysqldump命令，如： 
mysql>mysqldump -uroot -p 数据库名-e --max_allowed_packet=1048576 --net_buffer_length=16384 > SQL文件

如：

mysql>mysqldump -uroot -p test_db  -e --max_allowed_packet=1048576 --net_buffer_length=16384 > test_db.sql

 

不生成文件，直接导入到目标数据库

mysqldump --default-character-set=utf8mb4 --host=127.0.0.1 -uroot -p123 --opt databases | mysql --host=127.0.0.1 --port=3307 -uroot -p123 --default-character-set=utf8mb4 -C databases