keyerror：zip方法之后的“1”-遵循学习pyspark教程

Question

我正在学习“学习Pyspark”教程（在此链接）。当我跑的时候

selector = ft.ChiSqSelector(4).fit(births_train)

s1 = births_train.map(lambda row: row.label)
s2 = selector.transform(births_train.map(lambda row: row.features))

print(s1.take(1))
print(s2.take(1))
print(type(s1))
print(type(s2))

我有这样的输出：

s3=s1.zip(s2)
print(type(s3))
print(s3.collect())

<类“pyspark.rdd.rdd”>

----------------------------------------------------------------Py4JJavaError Traceback（最近调用last）in（）1 s3=s1.zip（s2）2 print（type（s3））------>3 print（s3.collect（））

/content/spark-2.3.1-bin-hadoop2.7/python/pyspark/rdd.py在collect（self）832“”833中使用SCCallSiteSync（self.context）作为CSS:-->834 sock_info=self.ctx._jvm.pythonrdd.collectandserve(self._jrdd.rdd())835返回列表(_load_from_socket(sock_info,self._jrdd_deserializer))836

/content/spark-2.3.1-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py in call（self,*args）1255应答=self.gateway_client.send_command（command）1256 return_value=get_return_value(->1257应答,self.gateway_client,self.target_id,self.name)1258 1259对于temp_args中的temp_arg:

/content/spark-2.3.1-bin-hadoop2.7/python/pyspark/sql/utils.py in deco(*a,**kw)61 def deco(*a,**kw):62 try:---->63返回f(*a,**kw)64除py4j.protocol.py4jJavaError为E:65 s=e.java_exception.toString()

/content/spark-2.3.1-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py in get_return_value（应答,gateway_client,target_id,name）326引发Py4JJavaError（327“调用{0}{1}{2}时出错.\n”。-->328格式(target_id,“.”,name）,value）329 else：330引发Py4JError（

PY4JJavaError：调用z:org.apache.spark.api.python.pythonrdd.CollectAndServe时出错。：sparkException：作业由于阶段失败而中止：阶段308.0中的任务0失败了1次,最近失败：stage 308.0中丢失的任务0.0（TID 8596，本地主机，执行器驱动程序）：org.apache.spark.api.python.pythonException：追溯（最近一次调用）：文件“/content/spark-2.3.1-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/worker.py”，第230行，在主进程中（）文件“/content/spark-2.3.1-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/worker.py”，第225行，在进程75，返回lambda*a:f(*a)文件“/content/spark-2.3.1-bin-hadoop2.7/python/pyspark/util.py”，第55行，在wrapper返回f(*args，**kwargs)文件“”，第9行，在recode keyerror：“1”中

为什么？

Answer 1

下面的代码对我起作用，虽然我不知道为什么：

truth = sc.parallelize(births_test.map(lambda row: row.label).collect())
prediction = sc.parallelize(LR_Model.predict(births_test.map(lambda row: row.features)).map(lambda x: x * 1.0).collect())
LR_results = truth.zip(prediction)