自定义分片策略解决大量小文件问题

自定义分片策略解决大量小文件问题 @(Hadoop)php 默认的TextInputFormat 应该都知道默认的TextInputFormat是一行行的读取文件内容，这对于一个或几个超大型的文件来讲并无什么问题，可是在实验读取大量小文件的时候，性能及其低下。java 实验过程git 分别有5个文件夹，每一个文件夹下有不一样数量（1-2千个）的小文件（10+k大小），总量大概有8k+个文件，使用C

>>阅读原文<<