spark算子：distinct去重的原理

1、Distinct是transformation算子，不是action算子。 2、Distinct的去重，是当key与value都一样的时候，会被当做重复的数据。      也就是说，有多条key和value都相同的数据在执行完distincct之后，只会保留1条。 原文地址：https://blog.csdn.net/wyqwilliam/article/details/82110860

>>阅读原文<<