阿里巴巴大规模应用Flink的踩坑经验：如何大幅下降 HDFS 压力？

众所周知 Flink 是当前普遍使用的计算引擎，Flink 使用 checkpoint 机制进行容错处理[1]，Flink 的 checkpoint 会将状态快照备份到分布式存储系统，供后续恢复使用。在 Alibaba 内部咱们使用的存储主要是 HDFS，当同一个集群的 Job 到达必定数量后，会对 HDFS 形成很是大的压力，本文将介绍一种大幅度下降 HDFS 压力的方法 -- 小文件合并。no

>>阅读原文<<