Flink大状态的优化

Flink 支持多种 StateBackend,当状态比较大时目前只有 RocksDBStateBackend 可供选择。RocksDB 是基于 LSM 树原理实现的 KV 数据库,LSM 树读放大问题比较严重,所以对磁盘性能要求比较高,强烈建议生产环境使用 SSD 作为 RocksDB 的存储介质。可是有些集群可能并无配置 SSD,仅仅是普通的机械硬盘,当 Flink 任务比较大,且对状态访问比
相关文章
相关标签/搜索