对源Spark数据帧列重新排序，以匹配PySpark中目标数据帧的顺序

Question

我有一个来自目标表的固定火花数据帧顺序:

目标火花数据帧(列1字符串、列2整数、列3字符串、列4双精度)

现在，如果源数据顺序混乱：

源火花数据帧(列3字符串、列2整数、列4双精度、列1字符串)。

如何使用PySpark重新排列源DataFrame以匹配目标DataFrame的列顺序？

源Spark数据帧应按如下方式重新排序，以匹配目标数据帧：

输出：

更新了源 Spark 数据帧（col1 字符串、列 2 整型、col3 字符串、col4 双精度型）

方案 2：

源数据帧=[a、c、d、e]

目标数据帧=[a，b，c，d]

在这种情况下，源数据帧应重新排列为[a，b，c，d，e]

< li >保持目标列的顺序 < li >更改源列的数据类型以匹配目标数据框架 < li >在末尾添加新列 < li >如果源列中不存在目标列，则仍应添加该列，但用< code>null值填充。

在上面的示例中，在重新排列源数据帧后，它将添加一个带有空值的 b 列。

这将确保当我们使用＜code＞saveAsTable

Answer 1

假设您有以下两个DataFrames：

source.show()
#+---+---+---+---+
#|  a|  c|  d|  e|
#+---+---+---+---+
#|  A|  C|  0|  E|
#+---+---+---+---+

target.show()
#+---+---+---+---+
#|  a|  b|  c|  d|
#+---+---+---+---+
#|  A|  B|  C|  1|
#+---+---+---+---+

具有以下数据类型:

print(source.dtypes)
#[('a', 'string'), ('c', 'string'), ('d', 'string'), ('e', 'string')]

print(target.dtypes)
#[('a', 'string'), ('b', 'string'), ('c', 'string'), ('d', 'int')]

如果我正确理解您的逻辑，以下列表理解应该适用于您：

from pyspark.sql.functions import col, lit

new_source = source.select(
    *(
        [
            col(t).cast(d) if t in source.columns else lit(None).alias(t) 
            for t, d in target.dtypes
        ] +
        [s for s in source.columns if s not in target.columns]
    )
)

new_source.show()

new_source.show()
#+---+----+---+---+---+
#|  a|   b|  c|  d|  e|
#+---+----+---+---+---+
#|  A|null|  C|  0|  E|
#+---+----+---+---+---+

结果输出将具有以下模式:

new_source.printSchema()
#root
# |-- a: string (nullable = true)
# |-- b: null (nullable = true)
# |-- c: string (nullable = true)
# |-- d: integer (nullable = true)
# |-- e: string (nullable = true)

如您所见，列d的数据类型从string更改为integer以匹配目标表的模式。

逻辑是首先遍历< code>target中的列，如果它们存在于< code>source.columns中，则选择它们；如果不存在，则创建一个< code>null的列。然后添加< code>source中不存在于< code>target中的列。