KeyBy没有为不同的密钥创建不同的键控流

Question

我读取一个简单的JSON字符串作为输入，并基于两个字段a和B对流进行键控。但是KeyBy为B的不同值生成相同的键控流，但为a和B的特定组合生成相同的键控流。

输入：

{
    "A": "352580084349898",
    "B": "1546559127",
    "C": "A"
}

这是我的Flink代码的核心逻辑：

DataStream<GenericDataObject> genericDataObjectDataStream = inputStream
            .map(new MapFunction<String, GenericDataObject>() {
                @Override
                public GenericDataObject map(String s) throws Exception {
                    JSONObject jsonObject = new JSONObject(s);
                    GenericDataObject genericDataObject = new GenericDataObject();
                    genericDataObject.setA(jsonObject.getString("A"));
                    genericDataObject.setB(jsonObject.getString("B"));
                    genericDataObject.setC(jsonObject.getString("C"));
                    return genericDataObject;
                }
            });
DataStream<GenericDataObject> testStream = genericDataObjectDataStream
            .keyBy("A", "B")
            .map(new MapFunction<GenericDataObject, GenericDataObject>() {
                @Override
                public GenericDataObject map(GenericDataObject genericDataObject) throws Exception {
                    return genericDataObject;
                }
            });
testStream.print();

5> GenericDataObject{A='352580084349898', B='1546559224', C='A'}
5> GenericDataObject{A='352580084349898', B='1546559127', C='A'}
4> GenericDataObject{A='352580084349898', B='1546559234', C='A'}
3> GenericDataObject{A='352580084349898', B='1546559254', C='A'}

Answer 1

首先，你没做错什么。

为什么它们在同一个子任务中？

假设您有数千个键，而Apache Flink不可能为每个键创建数千个线程。因此，必须有另一种机制来确保在一个线程中单独处理一组键。