带有集中式Avro模式的Apache Kafka

Question

我们使用Apache Kafka（不是confluent Kafka)0.10。我们想用Kafka设置AVRO模式。我有如下的avro模式。

{
  "namespace": "Rule",
  "type": "record",
  "name": "RuleMessage",
  "fields": [
    {
      "name": "station",
      "type": "string"
    },
    {
      "name": "model",
      "type": "string"
    }
}

序列化消息,

public byte[] serializeMessage(EventMessage eventMessage) throws IOException {

        ByteArrayOutputStream out = new ByteArrayOutputStream();
        BinaryEncoder encoder = EncoderFactory.get().binaryEncoder(out, null);
        DatumWriter<EventMessage> writer = new SpecificDatumWriter<EventMessage>(EventMessage.getClassSchema());
        writer.write(eventMessage, encoder);
        encoder.flush();
        out.close();
        return out.toByteArray();
    }

这正像预期的那样起作用。

但是,希望在主题级别设置一个Avro模式,这样,如果消息不符合Avro模式,主题将拒绝消息。

不管怎么说，我可以用阿帕奇Kafka0.10做到这一点。

Answer 1

您可以在Apache Kafka0.10.0中使用Confluent的模式注册表（其开源和Apache许可）将模式与主题关联起来。它与Avro序列化器/反序列化器一起到达，这些序列化器可以按照您所请求的方式自动验证Avro模式。

请注意，这不是所谓的“合流Kafaka”--这将是一个商标侵犯拥有它。为了方便起见，Confluent只是将Apache Kafka打包在其发行版中，但由于模式注册表在github上，所以如果您愿意，您可以不使用Confluent打包而使用它。