从没有UDF的case表达式中创建火花返回元组（结构类型）

Question

我正在寻找（一些测试没有成功）在不使用UDF的情况下从case语句返回元组结构类型，有什么方法可以做到这一点吗？

用例是:我们有两列依赖于case表达式中的相同条件，因此我们看到两个选项:

• 写入相同条件两次，但返回不同列（不需要）
• 写一次条件，但每次都返回2个值，这可以通过一个元组，然后我们将其拆分

我知道这可以使用UDF来完成，但是我们避免了UDF，因为被火花视为黑盒，因此它们是不可优化的，所以问题是：有没有办法让CASE语句在不使用UDFS的情况下返回多个值？

类似于:

df = df.withColumn("tuple", expr(
"CASE WHEN <condition 1> THEN (value1,value2)
      WHEN <condition 2> THEN (value3,value4)
      ELSE (value5,value6)
"))

df = df.withColumn("col1",col("tuple")[0])
df = df.withColumn("col2",col("tuple")[1])

Answer 1

可以使用< code>array:

df = df.withColumn(
    "tuple", 
    expr("""
        CASE WHEN <condition 1> THEN array(value1,value2)
             WHEN <condition 2> THEN array(value3,value4)
             ELSE array(value5,value6)
        END
   """)
)

df = df.withColumn("col1",col("tuple")[0])
df = df.withColumn("col2",col("tuple")[1])

但请注意，数组应该都是相同的类型，即value 1、value 3、value 5应该具有相同的类型，并且value 2、value 4、value 6也应该具有相同的类型。