HDFS的读写限流方案

我们的集群有的时候一跑几个大的任务,就会把机房网络带宽瞬间打满,导致线上部分服务抖动.所以我们就想到了在HDFS对普通读写的限流.所以说,本文可以实质上说是一篇总结报告,阐述了方案的设想,实现以及结果.   在hadoop自身内部,就有一些限流操作: 1、Blancer平衡数据限流 2、FsImage镜像文件上传下载数据传输流 3、VolumeScanner: 磁盘扫描的数据读操作   一 Dat
相关文章
相关标签/搜索