如何提取以Scala中特定值开头的数组[字符串]的元素？

Question

我有一个Scala数据框，它有以下模式：

filter_msg.printSchema()
root
|-- value: array (nullable = true)
|    |-- element: string (containsNull = true)

和数据样本：

|[SD:GK, 3.16.0, OS:Linux, (x86_64), AID:176]|

我想从这个数组字符串中提取值，其中元素以say SD开头并获取值，然后如果其操作系统获取值。问题是数组字符串中的位置不总是相同的，它不断变化，因此我无法使用

filter_msg.select($"value".getItem(1).as("SD"))

输出应为我提供一个数据帧：

Output=GK | Linux
Output.printSchema()
String,String

Answer 1

UDF可以用于：

val df = Seq(Array("SD:GK", "3.16.0", "OS:Linux", "(x86_64)", "AID:176")).toDF("value")

val extractArrayValues = (prefix: String, values: Seq[String]) =>
  values.filter(_.startsWith(prefix + ":")).map(_.split(":")(1)).headOption

val extractUDF = udf(extractArrayValues)
val result = df.select(
  extractUDF(lit("SD"), $"value").alias("SD"),
  extractUDF(lit("OS"), $"value").alias("OS")
)

结果是：

+---+-----+
|SD |OS   |
+---+-----+
|GK |Linux|
+---+-----+

Answer 2

下面是使用regex和regexp\u extract函数的另一种方法：

import org.apache.spark.sql.functions.{concat_ws, regexp_extract}

val df = Seq(
  Seq("SD:GK", "3.16.0", "OS:Linux", "(x86_64)", "AID:176")
).toDF

df.withColumn("to_str", concat_ws(",", $"value")) //concatenate array items into one string i.e: SD:GK,3.16.0,OS:Linux,(x86_64),AID:176
  .select(
    regexp_extract($"to_str", "SD:(\\w+),", 1) as "SD", //extract SD 
    regexp_extract($"to_str", "OS:(\\w+),", 1) as "OS"  //extract OS
  ).show(false)

// Output
// +---+-----+
// |SD |OS   |
// +---+-----+
// |GK |Linux|
// +---+-----+

Answer 3

您可以转换为rdd并提取如下值

// If you can conferm the data are always in same order
filter_msg.rdd.map(_.getAs[mutable.WrappedArray[String]](0))
  .map(row => {
    val sd = row(0).split(":").tail.head
    val os = row(2).split(":").tail.head
    (sd, os)
  } )
  .toDF("sd", "os")

或者您可以使用前面提到的@SleightX

filter_msg.rdd.map(_.getAs[mutable.WrappedArray[String]](0))
  .map(row => {
    val sd = row.filter(_.startsWith("SD:")).head.split(":").tail.head
    val os = row.filter(_.startsWith("OS:")).head.split(":").tail.head
    (sd, os)
  } )
  .toDF("sd", "os")

输出：

+---+-----+
|sd |os   |
+---+-----+
|GK |Linux|
+---+-----+