使用Performit select操作重命名PySpark DataFrame中的列

Question

还有其他关于如何重命名PySpark DataFrame中的列的线程，请参见这里、这里和这里。我不认为现有的解决方案具有足够的性能或通用性（我有一个应该更好的解决方案，但我被一个边缘情况bug所困扰）。让我们从回顾当前解决方案中的问题开始：

• 重复调用withcolumnremistrated可能会遇到与多次调用withcolumn相同的性能问题，如本博客文章所述。请参见此答案中的选项2。
• toDF方法依赖于模式推断，不一定保留列的nullable属性（在生产代码中应该避免toDF）。我想这种方法也很慢。
• 这种方法很接近，但不够通用，而且对于许多列来说，手工操作太多（例如，如果您试图将2000个列名转换为snake_case)

我创建了一个泛型函数，它适用于所有列类型，但包含点的列名除外：

import pyspark.sql.functions as F

def with_columns_renamed(fun):
    def _(df):
        cols = list(map(
            lambda col_name: F.col(col_name).alias(fun(col_name)),
            df.columns
        ))
        return df.select(*cols)
    return _

假设您有以下数据frame：

+-------------+-----------+
|i like cheese|yummy stuff|
+-------------+-----------+
|         jose|          a|
|           li|          b|
|          sam|          c|
+-------------+-----------+

以下是如何用下划线替换列名中的所有空白：

def spaces_to_underscores(s):
    return s.replace(" ", "_")

df.transform(with_columns_renamed(spaces_to_underscores)).show()

+-------------+-----------+
|i_like_cheese|yummy_stuff|
+-------------+-----------+
|         jose|          a|
|           li|          b|
|          sam|          c|
+-------------+-----------+

+-------------+-----------+
|i.like.cheese|yummy.stuff|
+-------------+-----------+
|         jose|          a|
|           li|          b|
|          sam|          c|
+-------------+-----------+

def dots_to_underscores(s):
    return s.replace(".", "_")

df.transform(quinn.with_columns_renamed(dots_to_underscores))

Answer 1

你可以做一些像这样简单的事情，

import pyspark.sql.functions as F

def with_columns_renamed(fun):
    def _(df):
        cols = list(map(
            lambda col_name: F.col('`' + col_name + '`').alias(fun(col_name)),
            df.columns
        ))
        return df.select(*cols)
    return _