CombineTextInputFormat切片机制

CombineTextInputFormat切片机制        框架默认的TextInputFormat切片机制是对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量小文件，就会产生大量的MapTask，处理效率极其低下。   1、应用场景：          CombineTextInputFormat用于小文件过多的场景，它可以将多个小文件从

>>阅读原文<<