如何将从parquet文件中读取的spark数据帧中的列名删除/替换为空白空间？

Question

我正在处理的数据集的列中有空格，我在尝试重命名spark dataframe列名时遇到了问题。尝试了StackOverflow中几乎所有可用的解决方案。好像什么都不管用。

注意：文件必须是拼花文件。

已尝试：

df.select(df.col("Catg Name").alias("Catg_Name"))    

然后是df.printschema

root
--type:string(nullable=true)
--timestamp:string(nullable=true)
--id:string(nullable=true)
--catg_name:string(nullable=true)
--error_msg:string(nullable=true)

工作良好，但当我使用df.show（）时，它会抛出相同的错误。

警告：停用警告1次；使用-deprecation重新运行详细信息
org.apache.spark.sql.AnalysisException：属性名称“catg name”在“,；{}()\n\t=”中包含无效字符。请使用别名重命名。；

Answer 1

删除列名中的空格并将其重新分配给DataFrame怎么样？

val df1 = df.toDF("col 1","col 2","col 3") // Dataframe with spaces in column names

val new_cols =  df1.columns.map(x => x.replaceAll(" ", "")) // new column names array with spaces removed

val df2 = df1.toDF(new_cols : _*) // df2 with new column names(spaces removed)