关于纱线团簇上有缩线的平行度问题

Question

作为Apache Flink的新手，以及流处理框架的一般情况下，我有几个关于它的问题，特别是关于并行性的问题。

首先，这是我的代码：

object KafkaConsuming {

  def main(args: Array[String]) {

    // **** CONFIGURATION & PARAMETERS ****
    val params: ParameterTool = ParameterTool.fromArgs(args)

    val env = StreamExecutionEnvironment.getExecutionEnvironment
        env.setParallelism(8)
        env.getConfig.setGlobalJobParameters(params)

    // **** Kafka CONNECTION ****
    val properties = new Properties();
    properties.setProperty("bootstrap.servers", params.get("server"));

    // **** Get KAFKA source ****
    val stream: DataStream[String] = env.addSource(new FlinkKafkaConsumer010[String](params.get("topic"), new SimpleStringSchema(), properties))

    // **** PROCESSING ****
    val logs: DataStream[MinifiedLog] = stream.map(x => LogParser2.parse(x))

    val sessions = logs.map { x => (x.timestamp, x.bytesSent, 1l, 1)}

    val sessionCnt: DataStream[(Long, Long, Long, Int)] = sessions
      .keyBy(3).window(TumblingProcessingTimeWindows.of(Time.seconds(10)))
      .reduce( (x: (Long, Long, Long, Int), y: (Long, Long, Long, Int)) => (x._1, x._2 + y._2, x._3 + y._3, x._4))
      .map { z => (z._1, z._2 / 10, z._3 / 10, z._4)}


    // **** OUTPUT ****
    val output: DataStream[String] = sessionCnt.map(x => (x.toString() + "\n"))
    output.writeToSocket("X.X.X.X", 3333, new SimpleStringSchema)

    env.execute("Kafka consuming")

  }
}

当我想在集群上运行它时，我运行以下命令：

./bin/flink run -m yarn-cluster -yn 8 /directories/myjar.jar --server X.X.X.X --topic mytopic

2.为什么Flink没有为这一步使用所有可能的线程？

我注意到源、窗口和接收器由不同的从服务器处理，但我仍然希望在集群上并行处理。

我在这篇文章中读到:https://stackoverflow.com/a/32329010/5035392，如果Kafka源代码只有一个分区（我的情况就是这样），Flink就不能在不同的节点上共享任务。但是，我的窗口处理应该能做到？

如果这些都是琐碎的问题，我很抱歉。我不确定我做错的是Flink还是我的集群配置。谢谢你。

Answer 1

Ad.2同一键的所有值都在一个TaskManager上处理。在您的示例中，sessions.keyby(3)stream的每个元素都有相同的键->1，因此所有计算都在单个任务槽中执行。