spark2.4 sql 快速列去重（冗余列检查）

        一直想作一个勤奋的人，笔耕方田，将本身在从事spark开发四年来积累的奇淫巧技分享出来。在给你们提供参考方案的同时也在总结和优化以前的设计。若是在有幸碰到大牛忍不住提出更好的优化方案能从中受益，也不枉码了这么多字。每当设计出一个很好的计算方案，就会忍不住打开博客想分享出来。而后会一直琢磨该以什么样的文字描述出来，想着想着就放弃了。老是想构思一个比较完美的结构段落，结果到最后什么也没

>>阅读原文<<