Spark-scala：与列不是单位的成员

Question

我正在尝试使用spark df读取spark中的CSV文件。文件没有标题列，但我想有标题列。如何做到这一点？我不知道我是否正确，我写了这个命令-

并将列名作为列的_c0和_c1。然后我尝试使用：val df1=df.with列重命名（"_c0"，"系列"）将列名更改为所需的名称，但我得到"with列重命名"不是单元上的成员。

PS：我已经导入了spark.implicits._和spark.sql.functions。

请帮助我了解是否有任何方法可以将列标题添加到数据集，以及为什么会出现此问题。

Answer 1

如果您事先知道CSV文件的结构，那么定义一个模式并将其附加到df，同时将数据加载到df是一个更好的解决方案。

快速参考示例代码-

import org.apache.spark.sql.types._

val customSchema = StructType(Array(
  StructField("Series", StringType, true),
  StructField("Column2", StringType, true),
  StructField("Column3", IntegerType, true),
  StructField("Column4", DoubleType, true))
)

val df = spark.read.format("csv")
.option("header", "false") #since your file does not have header
.schema(customSchema)
.load("/path/genchan1.txt")

df.show()

Answer 2

显示的返回类型为单位。请从末尾删除“显示”。

val df = spark.read.format("csv").load("/path/genchan1.txt")
df.show()

然后您可以使用所有df功能-

val df1 = df.withColumnRenamed("_c0","Series")