如何知道Spark使用Scala推断出的RDD类型是哪种

Question

我在尝试下面的例子

val lista = List(("a", 3), ("a", 1), ("b", 7), ("a", 5))
val rdd = sc.parallelize(lista)

然后在壳中我得到了以下信息

rdd: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[40] at parallelize at <console>:30

但出于某种原因我还不知道我能不能执行这个判决

val resAgg = rdd.aggregateByKey(new HashSet[Int])(_+_, _++_)

把这个装进壳里

resAgg: org.apache.spark.rdd.RDD[(String, scala.collection.mutable.HashSet[Int])] = ShuffledRDD[41] at aggregateByKey at <console>:32

所以我有一些问题：

1.-名为RDD的变量的真正RDD类型是什么？因为在shell中，它显示的是org类型。阿帕奇。火花rdd。RDD[（String，Int）]但从API上看，RDD类没有aggregateByKey方法。顺便问一下，JavaPairdd类是否有aggregateByKey方法

2.-我如何验证/了解RDD的真实类型

-那是什么ParallelCollectionRDD出现了？我在github上查找了它，发现它是一个私有类，所以我想这就是为什么它没有出现在scala API上的原因，但它是用来做什么的呢？

我用的是Spark 1.6.2

Answer 1

你看到的是隐式转换的效果：

>

rdd的类型是org.apache.spark.rdd.RDD[（String， Int）]

当您尝试调用聚合ByKey并且它不存在于此类型时，编译器会查找一些隐式转换为某种类型-并找到此转换为PairRDDFunctions：

implicit def rddToPairRDDFunctions[K, V](rdd: RDD[(K, V)])
  (implicit kt: ClassTag[K], vt: ClassTag[V], ord: Ordering[K] = null): PairRDDFunctions[K, V] = {
  new PairRDDFunctions(rdd)
}

然后，调用PairRDDFunctions.aggregateByKey。

至于你的最后一个问题：

那是什么ParallelCollection RDD

RDD是一个包含许多子类的抽象类，这就是其中之一。一般来说，每个子类负责在RDD上执行的不同操作，例如读/写/洗牌/检查点等。在调用SparkContext时会使用这种特定类型。parallelize——意思是，它用于并行化来自驱动程序的集合。事实上，这是私人的，你不应该关心你手头上到底有哪种RDD亚型。