无法覆盖从adls位置读取的ORC文件的架构

Question

我必须更改ORC文件的模式。ORC保存在adls位置。
orc文件中的原始模式是旧模式列标题：（C1、C2、C3、C4）
我想用新模式（从结构类型和结构字段创建。）新模式列标题：（姓名、年龄、性别、时间）覆盖原始模式

我使用的spark命令是：val df2=spark。阅读格式（“orc”）。架构（schema）。加载（“路径/”）

只要我运行df2。显示（2，错误）

所有列的数据都变为空。

当我不重写已经存在的旧架构并运行

val df2=火花。阅读格式（“orc”）。加载（“路径/”）

我得到了数据，但列标题是C1、C2、C3和C4。

你能告诉我如何读取新模式中的数据以及为什么它不起作用吗？

提前谢谢你。

Answer 1

为什么它不起作用？

是的，这是预期的行为。给定源df有c1、c2列。。。等。<代码>。架构（…） 阅读时帮助您选择或转换某些列。仅当源中存在give列时，此操作才有效。此选项对于基于文本的格式（如csv、json、text等）非常有用。

由于您提供的列为（姓名、年龄、性别、时间）并且您的源不包含这些列，因此数据为空。

你能告诉我如何读取新模式中的数据吗

正常读取文件，

val df = spark.read.format("orc").load("path/")

显式重命名列，

val df2 = df.withColumnRenamed(c1, "Name").withColumnRenamed(c2, "Age") ...