Spark Streaming广播变量更新问题

最近在使用Spark Streaming进行流式计算过程当中,遇到在过滤函数中须要用到外部过滤条件列表,且列表会随时更新,一开始只是在main函数中获取过滤条件列表,可是后来发现streaming程序每次触发并不是从新执行一遍main函数,部分代码(我的理解为非spark DAG有向图中rdd依赖链中的代码,也就是在driver端执行的这一部分)只会在streaming程序启动的时候执行一次,所以
相关文章
相关标签/搜索