Spark DataFrame 添加自增id

Spark DataFrame 添加自增id 在用SparkSQL 处理数据的时候，常常须要给全量数据增长一列自增ID序号，在存入数据库的时候，自增ID也经常是一个很关键的要素。在DataFrame的API中没有实现这一功能，因此只能经过其余方式实现，或者转成RDD再用RDD的 zipWithIndex 算子实现。下面呢就介绍两种实现方式html 方式一：利用窗口函数 // 加载数据 val da

>>阅读原文<<