Apache Spark：以分钟为单位解析PT2H5M（持续时间ISO-8601）持续时间

Question

在ISO 8601中，持续时间的格式为PT5M（5分钟）或PT2H5M（2小时5分钟）。我有一个JSON文件，其中包含这种格式的值。我想知道spark是否可以提取分钟的持续时间。我尝试将其读取为“DateType”，并使用“minutes”函数获取分钟数，结果返回空值。

示例json{"name"："茴香蘑菇"，"cookTime"："PT30M"}

目前，我正在将其作为字符串读取并使用“regex_extract”函数。我想知道一种更有效的方法。

https://www.digi.com/resources/documentation/digidocs/90001437-13/reference/r_iso_8601_duration_format.htm

Answer 1

Spark没有提供将ISO 8601持续时间转换成时间间隔的方法。Python datetime库中的< code>timedelta也没有。

但是，pd.Timdelta可以将ISO 8601持续时间解析为时间增量。为了支持更广泛的ISO 8601持续时间类别，我们可以将pd.Timdelta包装为pandas_udf

from pyspark.sql import functions as F
import pandas as pd

df = spark.createDataFrame([("PT5M", ), ("PT50M", ), ("PT2H5M", ), ], ("duration", ))

@F.pandas_udf("int")
def parse_iso8601_duration(str_duration: pd.Series) -> pd.Series:
    return str_duration.apply(lambda duration: (pd.Timedelta(duration).seconds / 60))

df.withColumn("duration_in_minutes", parse_iso8601_duration(F.col("duration"))).show()

+--------+-------------------+
|duration|duration_in_minutes|
+--------+-------------------+
|    PT5M|                  5|
|   PT50M|                 50|
|  PT2H5M|                125|
+--------+-------------------+