本文整理了Java中org.apache.spark.api.java.JavaPairRDD.distinct()方法的一些代码示例，展示了JavaPairRDD.distinct()的具体用法。这些代码示例主要来源于Github/Stackoverflow/Maven等平台，是从一些精选项目中提取出来的代码，具有较强的参考意义，能在一定程度帮忙到你。JavaPairRDD.distinct()方法的具体详情如下：
包路径：org.apache.spark.api.java.JavaPairRDD
类名称：JavaPairRDD
方法名：distinct

JavaPairRDD.distinct介绍

暂无

代码示例

代码示例来源：origin: OryxProject/oryx

public static Map<String,Integer> countDistinctOtherWords(JavaPairRDD<String,String> data) {
 return data.values().flatMapToPair(line -> {
  Set<String> distinctTokens = new HashSet<>(Arrays.asList(line.split(" ")));
  return distinctTokens.stream().flatMap(a ->
   distinctTokens.stream().filter(b -> !a.equals(b)).map(b -> new Tuple2<>(a, b))
  ).iterator();
 }).distinct().mapValues(a -> 1).reduceByKey((c1, c2) -> c1 + c2).collectAsMap();
}

代码示例来源：origin: Graphify/graphify

String[] parts = SPACES.split(s);
  return new Tuple2<>(parts[0], parts[1]);
}).distinct().groupByKey().cache();

代码示例来源：origin: oeljeklaus-you/UserActionAnalyzePlatform

categoryRDD=categoryRDD.distinct();

代码示例来源：origin: Erik-ly/SprakProject

categoryidRDD = categoryidRDD.distinct();

代码示例来源：origin: locationtech/geowave

(Function<SimpleFeature, Geometry>) t -> {
 return (Geometry) t.getDefaultGeometry();
}).distinct(largePartitionerCount).rdd().toJavaRDD();
(Function<SimpleFeature, Geometry>) t -> {
 return (Geometry) t.getDefaultGeometry();
}).distinct(largePartitionerCount).rdd().toJavaRDD();