spark算子：distinct去重的原理

1、Distinct是transformation算子，不是action算子。

2、Distinct的去重，是当key与value都一样的时候，会被当做重复的数据。

     也就是说，有多条key和value都相同的数据在执行完distincct之后，只会保留1条。

原文地址：https://blog.csdn.net/wyqwilliam/article/details/82110860