spark采用foreach方法向下游写数据导致mysql报警问题记录

    为了统计数据库中某一字段动态变化量,采用定时采集数据的方式,每半小时采集一次动态数据,每天统一汇总推送到hadoop文件系统中,每月采用spark分布式计算动态数据的变化规律,并写入数据库中,以便监控数据库中数据变化趋势。     但是在写入数据的过程中,采用调用下游接口的方式,利用spark针对rdd的foreach方式写入,代码如下:      但是,在写入过程中,数据库瞬时qps达到
相关文章
相关标签/搜索