为什么使用Avro和Kafka-如何处理POJO

Question

我这么说是因为来自avro的POJO一代不是那么直截了当的。在此基础上，它需要maven插件和一个.avsc文件。

例如，我在我的Kafka制作人上创建了一个POJO，名为User：

public class User {

    private long    userId;

    private String  name;

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public long getUserId() {
        return userId;
    }

    public void setUserId(long userId) {
        this.userId = userId;
    }

}

我连载它，并发送到我的用户主题在Kafka。然后我有一个消费者，它本身有一个POJO用户，并反序列化消息。是空间问题吗？这样序列化和反序列化不是也更快吗？更不用说维护模式注册表的开销了。

Answer 1

您不需要AVSC，您可以使用AVDL文件，它基本上看起来与POJO相同，只有字段

@namespace("com.example.mycode.avro")
protocol ExampleProtocol {
   record User {
     long id;
     string name;
   }
}

当使用Maven插件的idl-protocol目标时，它将为您创建这个AVSC，而不是您自己编写它。

{
  "type" : "record",
  "name" : "User",
  "namespace" : "com.example.mycode.avro",
  "fields" : [ {
    "name" : "id",
    "type" : "long"
  }, {
    "name" : "name",
    "type" : "string"
  } ]
}

它还将在类路径上放置specificDataPOJOuser.java以便在代码中使用。

Avro还内置了基于反射的库。

那么对于这个问题--为什么是阿夫罗（为Kafaka）？

嗯，有一个模式是件好事。想一想RDBMS表，您可以解释该表，并看到所有列。转移到NoSQL文档数据库，它们可以包含任何内容，这就是Kafka的JSON世界。

假设您的Kafka集群中有不知道主题中有什么内容的消费者，他们必须确切地知道主题中产生了谁/什么内容。他们可以尝试控制台使用者，如果它是一个像JSON这样的明文，那么他们就必须找出他们感兴趣的一些字段，然后一次又一次地执行类似于HashMap的.get（“name”）操作，结果当一个字段不存在时就会遇到一个NPE。使用Avro,您可以清楚地定义默认值和可为空的字段。

您不需要使用模式注册表，但它为RDBMS类比提供了explainTopic类型的语义。它还使您不必将模式与每条消息一起发送，并省去了在Kafka主题上的额外带宽开销。注册表不仅对Kafka有用，因为它可以用于Spark、Flink、Hive等所有围绕流数据摄取的数据科学分析。

假设您确实想使用JSON，那么尝试使用MsgPack，您可能会看到Kafka吞吐量的增加，并节省代理上的磁盘空间

你也可以使用其他格式，比如Protobuf或Thrift，正如Uber所比较的