如何在spark中加载到数据帧时修剪字段？

Question

我们最近收到了一个要摄取的文件，该文件是PSV格式的，但是，所有的字段都用额外的字符$~$填充在左右两边，所以整个PSV如下所示:

$ ~ $ field 1 $ ~ $ | $ ~ $ field 2 $ ~ $ | $ ~ $ field 3 $ ~ $

$~$Data1$~$|$~$Data 2$~$$|$$~$Data3$~$

$~$数据4 $ ~ $ | $ ~ $数据5 $ ~ $ | $ ~ $数据6$~$

$~$数据7 $ ~ $ | $ ~ $数据8 $ ~ $ | $ ~ $数据9$~$

$~$Data10$~$|$~$Data 11$~$$|$$~$数据12$~$。。。。。

文件中有1亿行。

什么是最好的方法来修整这些衬垫，使它成为一个标准的PSV？

非常感谢，任何建议/分享都在这里不胜感激。

更新：

数据从SFTP接收，并由IT数据支持（Unix Admin）上传到Hadoop，我们只能访问Hadoop集群，但如果这对数据支持来说是一项简单的工作，也许我可以说服他们进行预处理。谢谢

Answer 1

使用regexp_replace和foldLeft更新所有列。看看这个

scala> val df = Seq(("$~$Data1$~$","$~$Data2$~$","$~$Data3$~$"), ("$~$Data4$~$","$~$Data5$~$","$~$Data6$~$"), ("$~$Data7$~$","$~$Data8$~$","$~$Data9$~$"),("$~$Data10$~$","$~$Data11$~$","$~$Data12$~$")).toDF("Field1","field2","field3")
df: org.apache.spark.sql.DataFrame = [Field1: string, field2: string ... 1 more field]

scala> df.show(false)
+------------+------------+------------+
|Field1      |field2      |field3      |
+------------+------------+------------+
|$~$Data1$~$ |$~$Data2$~$ |$~$Data3$~$ |
|$~$Data4$~$ |$~$Data5$~$ |$~$Data6$~$ |
|$~$Data7$~$ |$~$Data8$~$ |$~$Data9$~$ |
|$~$Data10$~$|$~$Data11$~$|$~$Data12$~$|
+------------+------------+------------+


scala> val df2 = df.columns.foldLeft(df) { (acc,x) => acc.withColumn(x,regexp_replace(col(x),"""^\$~\$|\$~\$$""","")) }
df2: org.apache.spark.sql.DataFrame = [Field1: string, field2: string ... 1 more field]

scala> df2.show(false)
+------+------+------+
|Field1|field2|field3|
+------+------+------+
|Data1 |Data2 |Data3 |
|Data4 |Data5 |Data6 |
|Data7 |Data8 |Data9 |
|Data10|Data11|Data12|
+------+------+------+


scala>

Answer 2

这是一个纯Spark解决方案。可能有性能更好的解决方案。

var df = spark.read.option("delimiter", "|").csv(filePath)
val replace = (value: String, find: String, replace: String) => value.replace(find, replace)
val replaceUdf = udf(replace)
df.select(
       df.columns.map(c => replaceUdf(col(c), lit("$~$"), lit("")).alias(c)): _*)
  .show

更新：在2.3.0中，您不能将$~$用作引号选项，也不能将$~$|$~$作为分隔符

Answer 3

tr可能是更快的解决方案。请注意，您可以通过管道传输任何字符串，因此在本例中，我cating磁盘上的文件，但这也可以是来自sftp的文件流。

~/Desktop/test $ cat data.txt
$~$Field1$~$|$~$Field2$~$|$~$Field3$~$

$~$Data1$~$|$~$Data2$~$|$~$Data3$~$

$~$Data4$~$|$~$Data5$~$|$~$Data6$~$

$~$Data7$~$|$~$Data8$~$|$~$Data9$~$

# the '>' will open a new file for writing

~/Desktop/test $ cat data.txt | tr -d \$~\$ > output.psv

# see the results here
~/Desktop/test $ cat output.psv 
Field1|Field2|Field3

Data1|Data2|Data3

Data4|Data5|Data6

Data7|Data8|Data9

示例：https://shapeshed.com/unix-tr/#what-是unix中的tr命令