使用火花从csv文件中删除所有特殊字符

Question

如何使用java spark从spark数据帧中删除csv文件中的所有特殊字符例如：以下是包含空格和特殊字符的csv文件内容

"UNITED STATES CELLULAR CORP. - OKLAHOMA",WIRELESS,"US Cellular"

o/p我需要

UNITEDSTATESCELLULARCORPOKLAHOMA|WIRELESS|US Cellular( in lower case)

提前感谢

Answer 1

您应该使用 String.replaceAll 方法（和正则表达式）将每个不是阿拉法数字的字符替换为空字符串。将其用作 udf 并应用于数据帧中的所有列。

java代码应该是这样的

import org.apache.spark.sql.Column;
import static org.apache.spark.sql.functions.udf;
import org.apache.spark.sql.expressions.UserDefinedFunction;
import org.apache.spark.sql.types.DataTypes;

import java.util.Arrays;

UserDefinedFunction cleanUDF = udf(
  (String strVal) -> strVal.replaceAll("[^a-zA-Z0-9]", ""), DataTypes.StringType
);

Column newColsLst[] = Arrays.stream(df.columns())
    .map(c -> cleanUDF.apply(new Column(c)).alias(c) )
    .toArray(Column[]::new);

Dataset<Row> new_df = df.select(newColsLst);

参考：如何使用JAVA在Spark DataFrame上调用UDF？