案例分析 | 由Decimal操作计算引发的Spark数据丢失问题

供稿 | Hadoop Team 编辑 | 顾欣怡 本文3058字,预计阅读时间10分钟 导读 eBay的Hadoop集群上面每天运行着大量Spark计算任务。对于数据计算任务,其计算性能十分重要,数据质量也不可忽视,特别是对于金融数据,数据发生损坏将会产生严重后果。本文分享一次数据质量相关的问题以及我们排查该问题的过程和解决方案。 一、症状 一天,金融分析团队的同事报告了一个问题,他们发现在两个
相关文章
相关标签/搜索