从spark数据帧中的字符串列中提取单词

Question

我在spark dataframe中有一个包含文本的列。

我想提取所有以特殊字符'@'开头的单词，我正在使用regexp_extract从该文本列的每一行中提取。如果文本包含以'@'开头的多个单词，则只返回第一个单词。

我正在寻找提取多个符合我在火花模式的单词。

data_frame.withColumn("Names", regexp_extract($"text","(?<=^|(?<=[^a-zA-Z0-9-_\.]))@([A-Za-z]+[A-Za-z0-9_]+)",1).show

样本输入:< code>@always_nidhi @YouTube不，我不明白，但我喜欢他们的音乐和舞蹈真棒这首mve的所有歌曲都很摇滚

示例输出：@always_nidhi，@YouTube

Answer 1

在Spark 3.1中，可以使用< code>regexp_extract_all

使用您的输入进行测试:

import spark.implicits._
var df = Seq(
    ("@always_nidhi @YouTube no"),
    ("@always_nidhi"),
    ("no")
).toDF("text")

val col_re_list = expr("regexp_extract_all(text, '(?<=^|(?<=[^a-zA-Z0-9-_\\\\.]))@([A-Za-z]+[A-Za-z0-9_]+)', 0)")
df.withColumn("Names", array_join(col_re_list, ", ")).show(false)

// +-------------------------+-----------------------+
// |text                     |Names                  |
// +-------------------------+-----------------------+
// |@always_nidhi @YouTube no|@always_nidhi, @YouTube|
// |@always_nidhi            |@always_nidhi          |
// |no                       |                       |
// +-------------------------+-----------------------+

• array_join被使用，因为您希望结果是字符串格式，而regexp_extract_all返回数组。
• 如果在模式中使用\进行转义，则需要使用\\\而不是\，直到regexp_extract_all直接可用而无需exr。

Answer 2

您可以使用java RegEx来提取这些单词。下面是工作代码。

val sparkConf = new SparkConf().setAppName("myapp").setMaster("local[*]")
val sc = new SparkContext(sparkConf)

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._
import org.apache.spark.sql.functions.{col, udf}
import java.util.regex.Pattern

//User Defined function to extract
def toExtract(str: String) = {      
  val pattern = Pattern.compile("@\\w+")
  val tmplst = scala.collection.mutable.ListBuffer.empty[String]
  val matcher = pattern.matcher(str)
  while (matcher.find()) {
    tmplst += matcher.group()
  }
  tmplst.mkString(",")
}

val Extract = udf(toExtract _)
val values = List("@always_nidhi @YouTube no i dnt understand bt i loved the music nd their dance awesome all the song of this mve is rocking")
val df = sc.parallelize(values).toDF("words")
df.select(Extract(col("words"))).show()

输出

+--------------------+
|          UDF(words)|
+--------------------+
|@always_nidhi,@Yo...|
+--------------------+

Answer 3

您可以在 Spark 中创建 udf 函数，如下所示：

import java.util.regex.Pattern
import org.apache.spark.sql.functions.udf
import org.apache.spark.sql.functions.lit

def regexp_extractAll = udf((job: String, exp: String, groupIdx: Int) => {
      println("the column value is" + job.toString())
      val pattern = Pattern.compile(exp.toString)
      val m = pattern.matcher(job.toString)
      var result = Seq[String]()
      while (m.find) {
        val temp = 
        result =result:+m.group(groupIdx)
      }
      result.mkString(",")
    })

然后调用udf如下：

data_frame.withColumn("Names", regexp_extractAll(new Column("text"), lit("@\\w+"), lit(0))).show()

上面你给你输出如下：

+--------------------+
|               Names|
+--------------------+
|@always_nidhi,@Yo...|
+--------------------+

根据你在问题中发布的输出，我使用了regex。你可以修改它来适应你的需要。