Spark Distinct函数

在Spark中,Distinct函数返回提供的数据集中的不同元素。

Distinct函数的示例

在此示例中,忽略重复元素并仅检索不同的元素。要在Scala模式下打开Spark,请按照以下命令操作。

$ spark-shell

《Spark Distinct函数》

使用并行化集合创建RDD。

scala> val data = sc.parallelize(List(10,20,20,40))

现在,可以使用以下命令读取生成的结果。

scala> data.collect

《Spark Distinct函数》

应用distinct()函数来忽略重复的元素。

scala> val distinctfunc = data.distinct()

现在,可以使用以下命令读取生成的结果。

scala> distinctfunc.collect

《Spark Distinct函数》

        原文作者:Spark教程
        原文地址: https://www.yiibai.com/spark/apache-spark-distinct-function.html
        本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
    点赞