sparkconf修改配置不生效

sparkconf修改配置不生效 场景： 统一的数据处理平台，在日常工作中，需要初始化sparkcontext，这个context为考虑绝大多数用户的需求，所有的配置必须要考虑通用性，如设置输出格式统一为gzip，以达到节省空间的效果等。 这种情况下会带来问题，如果有用户有特定的需求，比如某用户不想把输出文件进行gzip压缩，这时需要针对此需求进行定制化功能开发。 第一次尝试： 笔者首先尝试，在初

>>阅读原文<<