spark调用udf性能优化

背景 定义了一个udf，用于信息解密，请求的是公司内部解密服务，解密服务部署了两台机器，随机请求。调用udf时，传入密文，输出明文。数仓每天有在用，且批量调用，没有性能问题。 最近新上线一个数据需求，发现卡在了解密udf，要30-40分钟。 原因 1.看解密服务完全没有压力，跑批的时候cpu使用率可以达到4000-5000%，现在只有100%左右。 2.看yarn资源分配也没有问题，尝试参数调优有

>>阅读原文<<