无模式JSON到Apache梁“行”类型？

Question

是否有一种方法可以使用Java SDK将任意的无模式JSON字符串转换为Apache Beam“行”类型？如果不是，是否可以从现有对象派生出一个Beam模式类型？

我找到了JsonToRow和ParseJsons的文档，但它们需要提供模式或POJO类才能工作。我还发现，您可以将JSON字符串读入BigQuery TableRow，但似乎没有一种方法可以将TableRow转换为不需要已经有一个模式的Row。

Answer 1

不幸的是，一般的答案似乎是“否”，尽管有些特定情况下的答案可能是“是”。

问题是模式与JSON数据类型不是100%兼容，特别是因为数组字段类型。
在JSON中，list的元素可能具有不同的数据类型，但Beam中的模式要求每个元素的数组类型相同。此类型可以是另一个行，甚至是逻辑类型，但所有元素必须相同。
不幸的是，使用行替换数组并不完全有效。虽然行字段是位置字段，但它们也被命名，使它们更接近地图。此外，如果数据集包含不同长度的JSON列表，那么每一行都将具有不同的模式，这将产生不希望的后果。

因此，如果您的JSON数据不使用任意类型的列表，您应该可以。也就是说，Beam没有提供任何从JSON派生模式的实用程序，因此您需要自己创建解决方案。

Answer 2

不，这是不可能的，因为Row（以及使用它的框架）需要在构建时了解模式。On选项是在构造时读取一小部分数据以推断模式，并使用它调用JsonToRow转换。