火花流：如何将输出反馈到输入

Question

更新：为了迭代支持，我不得不转向Flink流。不过还是会和Kafka试试看！

Answer 1

使用Apache Flink，可以通过iterateAPI调用定义反馈边。iterate方法需要一个步进函数，在给定输入流的情况下，该函数产生一个反馈流和一个输出流。前一个流反馈给步进函数，后一个流发送给下游操作员。

一个简单的示例如下：

scala prettyprint-override">val env = StreamExecutionEnvironment.getExecutionEnvironment

val input = env.fromElements(1).map(x => (x, math.random))

val output = input.iterate {
  inputStream =>
    val iterationBody = inputStream.flatMap {
      randomWalk =>
        val (step, position) = randomWalk
        val direction = 2 * (math.random - 0.5)
        val bifurcate = math.random >= 0.75

        Seq(
          Some((step + 1, position + direction)),
          if (bifurcate) Some((step + 1, position - direction)) else None).flatten
    }

    val feedback = iterationBody.filter {
      randomWalk => math.abs(randomWalk._2) < 1.0
    }

    val output = iterationBody.filter {
      randomWalk => math.abs(randomWalk._2) >= 1.0
    }

    (feedback, output)
}

output.print()

// execute program
env.execute("Random Walk with Bifurcation")

在这里，我们计算一个随机游走，我们随机地分割我们的游走，以向相反的方向前进。如果随机游动的绝对位置值大于或等于1.0,则随机游动完成。