IntelliJ中Flink WordCount输出中的数字

Question

我正在学习ApacheFlink，并通过IntelliJ中的Maven将其集成。我尝试了GitHub的WordCount示例：GitHub的WordCount示例

我只是调整了输入文本。

产生输出的代码的主要部分是：

DataStream<Tuple2<String, Integer>> counts =
                // split up the lines in pairs (2-tuples) containing: (word,1)
                text.flatMap(new Tokenizer())
                        // group by the tuple field "0" and sum up tuple field "1"
                        .keyBy(value -> value.f0)
                        .sum(1);

        // emit result
        if (params.has("output")) {
            counts.writeAsText(params.get("output"));
        } else {
            System.out.println("Printing result to stdout. Use --output to specify output path.");
            counts.print();
        }
        // execute program
        env.execute("Streaming WordCount");

我在IntelliJ中得到以下输出

4> (name,1)
4> (years,1)
3> (hello,1)
3> (twice,1)
5> (the,1)
2> (i,1)
6> (my,1)
2> (am,1)
6> (florian,1)
7> (old,1)
2> (thirteen,1)
6> (word,1)
8> (is,1)
8> (is,2)
6> (florian,2)
6> (written,1)

所以我有两个问题：

>

“$NUMBER”是什么

与文本一样，“florian”一词在输出中出现两次。这是由于写入输出的子任务吗？所以每次增加字数时，新的字数都会写入输出？有没有可能把这些集合起来，这样就只写最后的计数？

我知道这些是非常基本的问题，但我对ApacheFlink和一般的分布式处理框架都是新手，但我很想学习它。所以先谢谢你！：）

Answer 1

WordCoiunt是流媒体领域的“你好世界”。

1. 数字显示重复次数

Answer 2

>

是的，$数字

您正在流式执行模式下运行此应用程序。当以这种方式运行时，Flink无法知道它将看到多少输入——它被设计为能够持续、永久地运行。由于不可能等待“结束”来生成单个、最终的字数报告，因此，每个输入记录都会导致生成一个更新的输出记录。您可以改为在批处理执行模式下运行此应用程序，假设它只提供有界输入，在这种情况下，它将运行到完成，并且只报告最终的字数。看见https://ci.apache.org/projects/flink/flink-docs-stable/dev/datastream_execution_mode.html详情请参阅。