使用Python或pyspark读取基于位置的CSV文件

Question

我不熟悉Python及其库pyspark，我需要进行一些POC，其中我需要读取来自上游的CSV文件。我收到的CSV文件没有任何分隔符，它将是一个基于位置的文件。我们可以在Oracle控制文件中执行此操作，在该文件中，我们可以定义每个列的位置，并检索我在pyspark中执行此操作所需的值。

我正在使用Apache Spark来处理我的Pyspark或python代码。

对于Ex。

TXT文件中的两行示例行，长度可能更长（文件中也可能有空白，定义字段位置时需要考虑）

D30056747PRD0091921170811405ACTUAL    ACTUAL    6222020190110001508014
D30056747PRD0091921170811405ACTUAL    ACTUAL    6222020190110001508014

下面是每列的必需值（在我的示例中位置可能错误）

col1 = D30056747 [0:9]
col2 = PRD [10:13]
col3 = 0091921170811405 [13:28]
col4 = ACTUAL [29:35]
col5 = ACTUAL [39:45]
col6 = 62220 [49:54]
col7 = 20190110 [54:62]
col8 = 001508014 [52:71]

Answer 1

读取CSV文件时，可以指定分隔符：

spark.read.option("delimiter", " ").csv(file)

分隔符可以是空格o a\t。