spark-当spark读取csv时，如何添加字段名

Question

我想读Spark的CSV。所以我使用Java中的命令。

result = sparkSession.read().csv("hdfs://master:9000/1.csv");

_c0  _c1   _c2
1     egg    T
2     bob    F
3     tom    D

ID  Name   Class
1     egg   T
2     bob   F
3     tom   D

谢谢大家。

Answer 1

可以使用todf()方法重命名所有列:https://spark.apache.org/docs/2.0.2/api/java/org/apache/spark/sql/dataset.html#todf(java.lang.string...)

例如：

result = sparkSession.read().csv("hdfs://master:9000/1.csv").toDF("ID", "Name", "Class")