在合流Kafka中，关键的反序列化在消费者阶层中意味着什么？

Question

confluent kafka文档说,Consumer类定义如下：

Class Consumer<TKey, TValue> 

上面的consumer类实现了一个高级Apache Kafka consumer（具有键和值反序列化）。

我知道TKey和TValue用于反序列化从生产者发送的密钥。例如，类似于

从生产者发送密钥将看起来像

var deliveryReport = producer.ProduceAsync(topicName, key, val);

在消费者端接收string键将显示为

using (var consumer = new Consumer<Ignore, string>(constructConfig(brokerList, false), null, new StringDeserializer(Encoding.UTF8)))
{
    consumer.Subscribe(topics);

    Console.WriteLine($"Started consumer, Ctrl-C to stop consuming");

    var cancelled = false;
    Console.CancelKeyPress += (_, e) => {
        e.Cancel = true; // prevent the process from terminating.
        cancelled = true;
    };

    while (!cancelled)
    {
        Message<Ignore, string> msg;
        if (!consumer.Consume(out msg, TimeSpan.FromMilliseconds(100)))
        {
            continue;
        }

        Console.WriteLine($"Topic: {msg.Topic} Partition: {msg.Partition} Offset: {msg.Offset} {msg.Value}");
    }
}

Consumer<Ignore, string>

并将消息初始化为

Message<Ignore, String>

在所有这些之后，我的问题是，密钥的反序列化真正意味着什么？我们为什么要这么做？另外，为什么我们需要传入一个键-值对Ignore,字符串来执行反序列化？

Answer 1

为什么我们需要传入一个键值对Ignore,字符串来执行反序列化？

您不需要传递这些特定设置。您需要匹配制作人的设置。或者，如果您不确定，您可以为键和值提供byte array object。

如果生产者没有发送密钥，例如null，则没有任何东西可以反序列化。我假设这就是Ignore类的用途。注意，您没有提供键反序列化器类，但为值提供了

null, new StringDeserializer(Encoding.UTF8))

默认情况下，键决定您将从主题的哪个分区中获取消息。空键将在主题中平均分配。否则，生产者应用程序可以定义它们自己的分区，并在它们的逻辑决定的任何地方发送数据