用写sql的思路写 pyspark

文章目录 初始化： 1. 查询筛选以及UDF 1.1 新增字段 1.2 字段为list，包含子项 2. group by 聚合 2.1 想自定义聚合函数， 3. 对数据结果排序 4. join关联 5. 窗口函数 6. 取topN 7. 展开一个字段到多行 初始化： from pyspark import SparkConf, SparkContext from pyspark.sql impor

>>阅读原文<<