读取文本文件到元组pyspark

Question

我有一个关于读取和创建数据集的问题。我有一个文本文件，其中包含：

Sunny,Hot,High,Weak,No
Sunny,Hot,High,Strong,No

我这样实现了这段代码：

from pyspark import SparkConf, SparkContext
import operator
import math

conf = SparkConf().setMaster("local[*]").setAppName("Lab 6")
sc = SparkContext(conf=conf)
rawData = sc.textFile("txtfile.data")
data = rawData.flatMap(lambda line: line.split(","))

而不是有这样的结果：

[(Sunny, Hot, High, Weak, No), (Sunny, Hot, High, Strong, No)]

它给了我一个结果：

['Sunny', 'Hot', 'High', 'Weak', 'No', 'Sunny', 'Hot', 'High', 'Strong', 'No']

谁能告诉我怎么解决这个问题？

Answer 1

FlatMap是Map（转换）和flatten的组合，它将为子数组中的每个元素创建一行。

您希望使用map方法，该方法将生成字符串类型数组的列。