Sqoop采集数据的时候出现数据倾斜解决方法（--split-by --num-mappers）

注意： –split-by 后面要是int类型，并且是连续递增的，那么sqpli-by 会平分的很均匀，要是不是自增的那么有的maptask还是很忙，而有的maptask则不是很忙 –num-mappers 后面设置的maptask数目大于1的话，那么–split-by 后面必须跟字段，因为–num-mappers 后面要是1的话，那么 –split-mappers 后面跟不跟字段都没有意义，因为

>>阅读原文<<