【Spark2运算效率】第五节 影响生产集群运算效率的缘由之小文件

【Spark2运算效率】【Spark2运算效率】第五节 影响生产集群运算效率的缘由之小文件 前言 问题概述 案例 结语 跳转 前言 关于小文件的治理方案颇多，能够回归到hdfs底层的block层面看待治理问题。，首先能够经过查询命令（hadoop dfs -count 路径）来查看路径目录下文件夹数目、文件数目及文件总大小（博主曾分享过相关的自动化脚本，有须要的能够去看看，很容易上手【小工具】 h

>>阅读原文<<