实现Spark数据流时的返回类型重载

Question

目前正在尝试实现我自己的ApacheSpark V2实现。0数据流

import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.Time

class MQTTDStream[T](ssc: StreamingContext) extends DStream(ssc) {
  override def compute(validTime: Time): RDD[Int] = {     ssc.sparkContext.parallelize(Array(1, 2, 3), 1) }
}

我的eclipse环境中的编译器对此没有问题。但我将代码粘贴到IBM DSExperience中的jupyter笔记本上，并得到以下错误：

名称：编译错误消息e::21：错误：类中的重写方法计算DStream的类型（validTime：org.apache.spark.streaming.Time）选项[org.apache.spark.rdd.RDD[无]]；方法计算有不兼容的类型重写def计算（validTime： Time）： RDD[Int]={ssc.sparkContext.parallelize（Array（1, 2, 3), 1)}^： 20：错误：类MQTTDStream需要是抽象的，因为：它有2个未实现的成员。/**从类MQTTDStream中看到，缺少的签名如下所示。*为方便起见，这些可用作存根实现。*/def依赖项：列表[org.apache.spark.streaming.dstream.DStream[_]]=？？ def幻灯片持续时间：org.apache.spark.streaming.持续时间=？？？

   class MQTTDStream[T](ssc: StreamingContext) extends DStream(ssc) {
         ^ StackTrace:

编辑：31.8.16

现在我有了一些进步：

abstract class MQTTDStream[T](ssc: StreamingContext) extends DStream(ssc) {
  override def compute(validTime: Time): Option[RDD[T]] =
    Some(ssc.sparkContext.parallelize(Seq(1, 2, 3), 1))

  override def dependencies = Nil

  override def slideDuration = Seconds(1) // just an example
}

给我：

类型不匹配；找到：Int（1）必需：T

Answer 1

1. 您缺少DStream的类型参数（这是错误消息中无的来源）；2.comute应该返回一个Option[RDD[某物]]，而不仅仅是RDD[某物]；3.您还需要定义依赖项和SlideDuration。

所以最小的变化是

class MQTTDStream[T](ssc: StreamingContext) extends DStream[Int](ssc) {
  override def compute(validTime: Time): Option[RDD[Int]] = 
    Some(ssc.sparkContext.parallelize(Array(1, 2, 3), 1))

  override def dependencies = Nil

  override def slideDuration = Seconds(1) // just an example
}