在分区上用列点燃dataframe

Question

dataframe中的列“Cola”包含整数值：

+-----+
| colA|
+-----+
|    1|
|    2|
|    1|
|    3|
+-----+

这些整数值可以通过Redis字典映射到字符串：

+----+------+
| key| value|
+----+------+
|   1|     a|
|   2|     b|
|   3|     c|
+----+------+

我需要创建一个新列“colb”，它将包含“cola”到字符串值的映射：

+-----+-----+
| colA| colB|
+-----+-----+
|    1|    a|
|    2|    b|
|    1|    a|
|    3|    c|
+-----+-----+

null

Answer 1

请注意，我希望避免以下开销：

• ...
• 通过直接调用DataFrame上的mapPartitions来关联编码器。

这实际上使它变得不可能。任何不使用SQL DSL的操作都需要解码为外部类型并编码回内部类型。对于原始值，如果使用二进制编码器，它是低成本的操作，但它仍然需要编码器。