Scala-方法X不覆盖任何内容

Question

我正在尝试对涉及DStreams的Spark Streaming应用程序执行一些单元测试。

我发现下面这套很有用:StreamingSuiteBase。它包含一个名为testOperation的方法，您可以向该方法传递一个输入、一个要测试的操作和一个预期的输出。它将验证您的预期输出是否与实际输出相匹配。

我面临的问题是，在相等验证期间，我确实得到了完全相同的对象，但包装成不同的集合：

• 预期：列表（myObject）
• 实际：数组（myObject）

测试操作定义如下：

  def testOperation[U: ClassTag, V: ClassTag](
      input: Seq[Seq[U]],
      operation: DStream[U] => DStream[V],
      expectedOutput: Seq[Seq[V]],
      ordered: Boolean
    ) (implicit equality: Equality[V]): Unit = {
    val numBatches = input.size

    withOutputAndStreamingContext(setupStreams[U, V](input, operation)) {
      (outputStream, ssc) =>

      val output: Seq[Seq[V]] = runStreams[V](
        outputStream, ssc, numBatches, expectedOutput.size)
      verifyOutput[V](output, expectedOutput, ordered)
    }
  }

这不允许我按预期输入＜code＞List（Array（myObject））＜/code＞

所以我的第二个选择是修改方法< code>verifyOutput。我打算从我的代码中重写它，只是添加几行来生成列表(Array(myObject))。像这样(更新):

override def verifyOutput[V](output: Seq[Seq[V]],
                             expectedOutput: Seq[Seq[V]],
                             ordered: Boolean)
                             (implicit evidence$1: ClassTag[V], equality: Equality[V]): Unit = {
    super.verifyOutput(output, expectedOutput, ordered)
}

        //These three lines is what I am planning to add
        val sq = expectedOutput(0)
        val ssq = sq(0)
        val newOutput = Seq(Array(ssq))

        logInfo("--------------------------------")
        logInfo("output.size = " + output.size)
        logInfo("output")
        output.foreach(x => logInfo("[" + x.mkString(",") + "]"))
        logInfo("expected output.size = " + expectedOutput.size)
        logInfo("expected output")
        expectedOutput.foreach(x => logInfo("[" + x.mkString(",") + "]"))
        logInfo("--------------------------------")

        // Match the output with the expected output
        assert(output.size === expectedOutput.size, "Number of outputs do not match")
        if (ordered) {
          for (i <- output.indices)
            equalsOrdered(output(i), expectedOutput(i))

        } else {
          for (i <- output.indices)
            equalsUnordered(output(i), expectedOutput(i))
        }

        logInfo("Output verified successfully")
      }

整个StreamingSuiteBase都可以在这里找到

但我在Eclipse中收到以下错误：

方法验证输出不覆盖任何内容。注意：类 myClass 的超类包含以下名为 verifyOutput 的非最终成员：定义验证输出[V]（输出：Seq[Seq[V]]，预期输出：Seq[Seq[V]]，排序：布尔值）（隐式证据$1： scala.reflect.ClassTag[V]，隐式相等：组织.scaical.Equal[V]）： 单位

这是我的测试用例的简化版本:

import org.scalatest.FunSuite

class myClass extends StreamingSuiteBase with FunSuite {

  test("ExtCustProfileHbaseAPI") {

    //Here I would be generating my input and expected output

    val inputData = new myInitialObject()
    val expOutput = new myFinalObject()


    testOperation(inputData, processTest _, expOutput, ordered = false)


  }

  def processTest(input: DStream[myInitialObject]): DStream[(String,myFinalObject)] = {

        //Operation undertes
        val result = operation(input)

        result
    }

    //Here I added the override def verifyOutput[V: ClassTag]...
}

我做错了什么？

Answer 1

根据源代码,< code>StreamingSuiteBase特征有一个自身类型< code>org.scalatest.Suite,这意味着你必须扩展Suite类型类(在你的例子中是FunSuite ),否则它将无法编译。

你可以参考这个：https://github.com/holdenk/spark-testing-base/wiki/StreamingSuiteBase

有关Scala Self类型的更多信息，您可以参考：https://docs.scala-lang.org/tour/self-types.html

你不需要一个V：类标签，我可以看到的基本IDE生成的重写方法是：

override def verifyOutput[V](output: Seq[Seq[V]],
                             expectedOutput: Seq[Seq[V]],
                             ordered: Boolean)
                             (implicit evidence$1: ClassTag[V], equality: Equality[V]): Unit = {
    super.verifyOutput(output, expectedOutput, ordered)
}