Hadoop小文件优化

本文我的总结     先来了解一下Hadoop中何为小文件:小文件指的是那些文件大小要比HDFS的块大小(在Hadoop1.x的时候默认块大小64M,能够经过dfs.blocksize来设置;可是到了Hadoop 2.x的时候默认块大小为128MB了,能够经过dfs.block.size设置)小的多的文件。若是在HDFS中存储小文件,那么在HDFS中确定会含有许许多多这样的小文件(否则就不会用ha
相关文章
相关标签/搜索