Apache Beam KafkaIO生产者将不同的消息路由到不同的主题

Question

我有一个usecase，其中传入的数据有一个标识不同类型数据的键。有一个单一的输入Kafka主题，所有类型的数据都抛向它。beam管道从输入的kafka主题中读取所有消息，并必须根据关键字路由到不同的kafka主题。

final class AutoValue_KafkaIO_Write<K, V> extends Write<K, V> {
    private final String topic;
    private final WriteRecords<K, V> writeRecordsTransform;

    private AutoValue_KafkaIO_Write(@Nullable String topic, WriteRecords<K, V> writeRecordsTransform) {
        this.topic = topic;
        this.writeRecordsTransform = writeRecordsTransform;
    }

如何使用apache Beam的kafkaIO生产者？

Answer 1

经过几天的努力，实现了消息路由，目前，kafkaIO不支持消息路由到不同的主题。

一个解决办法是为每个不同的主题创建一个kafka生产者，并将元素隔离到不同的pcollections，这取决于哪个元素发送到不同的kafka主题。