Spark 数据帧和重命名多个列 （Java）
有没有比调用多个数据帧更好的方法来同时为给定的 SparkSQL 数据帧添加前缀或重命名所有或多个列？
例如，如果我想检测更改(使用完全外连接)。然后我剩下两个具有相同结构的< code >数据帧。
共有3个答案
我刚刚找到了答案
df1_r = df1.select(*(col(x).alias(x + '_df1') for x in df1.columns))
at stackoverflow在这里（见已接受答案的末尾）
我认为这个方法可以帮助你。
public static Dataset<Row> renameDataFrame(Dataset<Row> dataset) {
for (String column : dataset.columns()) {
dataset = dataset.withColumnRenamed(column, SystemUtils.underscoreToCamelCase(column));
}
return dataset;
}
public static String underscoreToCamelCase(String underscoreName) {
StringBuilder result = new StringBuilder();
if (underscoreName != null && underscoreName.length() > 0) {
boolean flag = false;
for (int i = 0; i < underscoreName.length(); i++) {
char ch = underscoreName.charAt(i);
if ("_".charAt(0) == ch) {
flag = true;
} else {
if (flag) {
result.append(Character.toUpperCase(ch));
flag = false;
} else {
result.append(ch);
}
}
}
}
return result.toString();
}
我建议使用select（）方法来执行此操作。事实上，with ClonRename（）方法本身使用select（）。以下是如何重命名多列的示例：
import org.apache.spark.sql.functions._
val someDataframe: DataFrame = ...
val initialColumnNames = Seq("a", "b", "c")
val renamedColumns = initialColumnNames.map(name => col(name).as(s"renamed_$name"))
someDataframe.select(renamedColumns : _*)
-
我想将以下数据框的第1列重命名为“Ref”。我有很多列，因此无法重命名每个列或为每个列设置名称。 这是数据帧 现在我想将第一列重命名为'Ref'。我试过这个 它重命名所有标题与列[1]相似的列。
-
以下脚本： Floor1正在正确执行，Floor2使用相同的df执行，但使用重命名的列则不正确。我得到一个关键错误： 我知道，有一个类似的问题：重命名列后get keyerror 但我并没有真正得到答案，更重要的是，我没有找到解决办法。
-
我正在用PySpark DataFrames分析一些数据。假设我有一个正在聚合的数据帧< code>df: 这将给我: 聚合工作得很好，但我不喜欢新的列名。有没有办法将此列重命名为人类可以从方法中读取的内容？也许更类似于中的操作：
-
我有一个DF，其中包含一个巨大的可解析元数据，作为Dataframe中的单个字符串列，我们称之为DFA，使用ColmnA。 我想通过一个函数，ClassXYZ = Func1(ColmnA)将ColmnA这一列分成多个列。这个函数返回一个具有多个变量的类ClassXYZ，现在每个变量都必须映射到新的列，比如ColmnA1、ColmnA2等。 我如何通过调用Func1一次来完成从一个数据帧到另一个数
-
我有麻烦重命名基于csv的数据帧的标头。 我得到了以下数据帧：df1： 现在我想根据csv文件更改列名（第一行），如下所示： 因此，我期望数据帧如下所示： 有什么想法吗？感谢您的帮助：）
-
下面是一个简单的数据帧示例： 与输出 我想将其转置并重命名列： 因此，输出将是 转换方法不太好，那我该怎么办？