Kettle提升表输出写入速度（每秒万条记录）

重点： ETL 优化多数在于表输入和表输出。

转自： https://blog.csdn.net/qq_37124304 https://blog.csdn.net/qq_37124304/article/details/82664665 

 

      因为Kettle提升表输出写入速度过低，每秒速度三四十，实在忍受不了，参考一些资料以后进行了如下改变，我只进行了第一项的速度每秒五六千，加上其余的测试速度有达到3万多，有一分钟二十多万的记录，没测试极限，下为更改的地方：

NO.1

mysql表输出的时候出现减速的缘由多是由于网络连接的属性设置

在此处添加参数：

useServerPrepStmts=false  
rewriteBatchedStatements=true  
useCompression=true 

如图：

 

 

NO.2

kettle 容许线程多开

 

 

NO.3

也能够适当的提升数据集的大小

 

 

此处未改，不一样的MySQL数据库版本好似有数据传输限制会报Prepared statement contains too many placeholders，我用的是5.7的没有出现这个错误

NO.4

每次表输出的提交量

 

 

更改大小视机器的内存大小改变，

最后的

kettle还能够并发处理job

 

-