Sqoop --m(--num-mappers)参数使用及优化

 Sqoop并行化是启多个map task实现的,-m(或--num-mappers)参数指定map task数,默认是四个。当指定为1时,能够不用设置split-by参数,不指定num-mappers时,默认为4,当不指定或者num-mappers大于1时,须要指定split-by参数。并行度不是设置的越大越好,map task的启动和销毁都会消耗资源,并且过多的数据库链接对数据库自己也会形成压
相关文章
相关标签/搜索