使用kafka检测值的变化

Question

我有一个流应用程序，它连续接收坐标流以及一些自定义元数据，这些元数据还包括位字符串。该流使用生产者API生成到Kafka主题上。现在，另一个应用程序需要处理该流[Streams API]，并存储位字符串中的特定位，并在该位更改时生成警报

下面是需要处理的连续消息流

{"device_id":"1","status_bit":"0"}
{"device_id":"2","status_bit":"1"}
{"device_id":"1","status_bit":"0"}
{"device_id":"3","status_bit":"1"}
{"device_id":"1","status_bit":"1"} // need to generate alert with change: 0->1
{"device_id":"3","status_bits":"1"}
{"device_id":"2","status_bit":"1"}
{"device_id":"3","status_bits":"0"} // need to generate alert with change 1->0

现在我想把这些提醒写到另一个Kafka主题，比如

{"device_id":1,"init":0,"final":1,"timestamp":"somets"}
{"device_id":3,"init":1,"final":0,"timestamp":"somets"}

我可以使用以下方式将当前位保存在状态存储中

streamsBuilder
        .stream("my-topic")
        .mapValues((key, value) -> value.getStatusBit())
        .groupByKey()
        .windowedBy(TimeWindows.of(Duration.ofMinutes(1)))
        .reduce((oldAggValue, newMessageValue) -> newMessageValue, Materialized.as("bit-temp-store"));

但是我无法理解如何从现有位检测到这种变化。我需要在处理器拓扑中以某种方式查询状态存储吗？如果是？如何？如果不是？还能做什么？

任何我可以尝试的建议/想法（可能与我的想法完全不同）也非常感谢。我对Kafka还不熟悉，从事件驱动流的角度思考问题让我难以理解。

提前谢谢。

Answer 1

我不确定这是最好的方法，但在类似的任务中，我使用了一个中间实体来捕捉状态变化。在你的情况下，会是这样

    streamsBuilder.stream("my-topic").groupByKey()
              .aggregate(DeviceState::new, new Aggregator<String, Device, DeviceState>() {
            public DeviceState apply(String key, Device newValue, DeviceState state) {
                if(!newValue.getStatusBit().equals(state.getStatusBit())){
                     state.setChanged(true);    
                }
                state.setStatusBit(newValue.getStatusBit());
                state.setDeviceId(newValue.getDeviceId());
                state.setKey(key);
                return state;
            }
        }, TimeWindows.of(…) …).filter((s, t) -> (t.changed())).toStream();

在生成的主题中，您将看到更改。您还可以向DeviceState添加一些属性以首先对其进行初始化，具体取决于您是否要发送事件、第一条设备记录到达的时间等。