我们可以在同一个拼花文件中每个行组有不同的模式吗？

Question

在创建拼花文件时，我们可以在每个行组中使用不同的模式吗？在这种情况下，页脚将合并所有行组中的所有模式，但每个行组的模式将不同。这是公认的拼花格式吗？拼花规范是否清楚地表明模式不能在同一拼花文件中按行组更改？

官方规范对这一部分不是很具体，但当我们以这种方式编写文件时，Spark无法读取。

我尝试编写这样的文件和阅读使用spark.read.parquet和我得到以下错误

// this line works fine and it shows the schema from the footer where we have a unioned schema of all the rowgroups.
var df = spark.read.option("mergeSchema", "true").parquet("abc.parquet") 

// but when I try to do df.show() it throws an error
df.show()

<代码>组织。阿帕奇。火花SparkException：作业因阶段失败而中止：阶段10.0中的任务0失败了4次，最近的失败：阶段10.0中的任务0.3丢失（TID 86，10.139.64.6，执行器0）：java。lang.IllegalArgumentException：[可见性\u值\u字符串]可选二进制可见性\u值\u字符串（UTF8）不在存储中：

这里的规范只是说列应该与FileMetadata中的顺序相同，我将其解释为，我可以在随后的行组中拥有更多列。

该规范只说明每个行组中的模式必须包含与FileMetadata相同顺序的列，但并没有真正说明它应该包含所有列。在这种情况下，后续行组中是否可以有更多列？

row group 1 -> col1, col2
row group 2 -> col1, col2, col3
row group 3 -> col1, col2, col3, col4
file metadata -> col1, col2, col3, col4

这是一种可接受的拼花地板格式吗？如果不是，为什么？

Answer 1

单个文件需要内部一致，但当您有多个文件时，可以有“兼容”但不同的模式。