spark sql中踩到的一个坑,自定义Udf会执行屡次,即便在已经cache table的状况下

spark sql中踩到的一个坑,自定义Udf会执行屡次,即便在已经cache table的状况下:  https://issues.apache.org/jira/browse/SPARK-15282 java 之前也没发现这个问题,由于若是一个UDF是无状态的话,其实执行屡次并不会致使结果的最终一致性被打破,说来也巧啊,最近写了一个UDF里面封装了redis的hsetnx操做redis val
相关文章
相关标签/搜索