为什么我们需要Avro模式演进

Question

我是Hadoop和编程的新手，我对Avro模式演变有点困惑。我将解释到目前为止我对Avro的理解。

Avro是一种串行化工具，它存储二进制数据，其json模式位于顶部。模式如下所示。

{
    "namespace":"com.trese.db.model",
    "type":"record",
    "doc":"This Schema describes about Product",
    "name":"Product",
    "fields":[
        {"name":"product_id","type": "long"},
        {"name":"product_name","type": "string","doc":"This is the name of the product"},
        {"name":"cost","type": "float", "aliases":["price"]},
        {"name":"discount","type": "float", "default":5}
    ]
}

现在我的问题是为什么我们需要进化？我已经了解到，我们可以在新字段的模式中使用＜code＞default＜/code＞选项；但是，如果我们在文件中添加一个新的模式，早期的模式将被覆盖。一个文件不能有两个架构。

另一个问题是，什么是读写器模式，它们有什么帮助？

Answer 1

如果你有一个avro文件，你想改变它的模式，你可以用一个新的模式重写这个文件。但是如果你有太多的avro文件，你想改变它们的模式呢？每次模式改变时，你会重写所有的数据吗？

架构演变允许您更新用于写入新数据的架构，同时保持与旧数据架构的向后兼容性。然后，您可以一起读取它们，就好像所有数据都有一个架构一样。当然，有精确的规则来管理允许的更改，以保持兼容性。这些规则列在“架构解析”下。

除了进化之外，读取器和写入器模式还有其他用例。你可以使用阅读器作为过滤器。假设数据有数百个字段，而您只对其中的一小部分感兴趣。您可以为这些字段创建一个模式，只读取您需要的数据。您可以反其道而行之，创建一个添加默认数据的读取器模式，或者使用一个模式来连接两个不同数据集的模式。

或者，您可以只使用一个架构，该架构永远不会更改，用于读取和写入。这是最简单的情况。