如何在Apache Flink中拆分NodeObject的数据

Question

我正在使用Flink处理来自某些数据源（如Kafka、Pravega等）的数据。

在我的例子中，数据源是Pravega，它为我提供了一个flink连接器。

我的数据源正在向我发送一些JSON数据，如下所示：

{"key": "value"}
{"key": "value2"}
{"key": "value3"}
...
...

以下是我的代码：

PravegaDeserializationSchema<ObjectNode> adapter = new PravegaDeserializationSchema<>(ObjectNode.class, new JavaSerializer<>());
FlinkPravegaReader<ObjectNode> source = FlinkPravegaReader.<ObjectNode>builder()
    .withPravegaConfig(pravegaConfig)
    .forStream(stream)
    .withDeserializationSchema(adapter)
    .build();

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<ObjectNode> dataStream = env.addSource(source).name("Pravega Stream");
dataStream.map(new MapFunction<ObjectNode, String>() {
        @Override
        public String map(ObjectNode node) throws Exception {
            return node.toString();
        }
    })
    .keyBy("word")    // ERROR
    .timeWindow(Time.seconds(10))
    .sum("count");

如您所见，我使用FlinkPravegaReader和适当的反序列化程序来获取来自Pravega的JSON流。

然后我尝试将JSON数据转换为String，KeyBy它们并对它们进行计数。

但是，我得到一个错误：

 The program finished with the following exception:

Field expression must be equal to '*' or '_' for non-composite types.
        org.apache.flink.api.common.operators.Keys$ExpressionKeys.<init>(Keys.java:342)
        org.apache.flink.streaming.api.datastream.DataStream.keyBy(DataStream.java:340)
        myflink.StreamingJob.main(StreamingJob.java:114)

似乎KeyBy抛出了此异常。

嗯，我不是Flink专家，所以我不知道为什么。我已经阅读了官方示例的源代码。在该示例中，有一个custom拆分器，用于将字符串数据拆分为单词。

所以我在想，在这种情况下，我是否也需要使用某种拆分器？如果是，我应该使用什么样的拆分器？你能给我举个例子吗？如果没有，为什么我会出现这样的错误以及如何解决它？

Answer 1

我想您已经阅读了有关如何指定键的文档

指定关键点

示例代码使用按键（“word”），因为word是POJO类型的字段。

// some ordinary POJO (Plain old Java Object)
public class WC {
  public String word;
  public int count;
}
DataStream<WC> words = // [...]
DataStream<WC> wordCounts = words.keyBy("word").window(/*window specification*/);

在你的例子中，你在keyBy之前放了一个map运算符，这个map运算符的输出是一个string。所以在你的例子中显然没有word字段。如果你真的想对这个string流进行分组，你需要像这样编写. keyBy（String::toString）

或者，您甚至可以实现自定义的键选择器来生成自己的键。

自定义键选择器