最后一个任务永远停顿...只是有时候

Question

我有一个pySpark工作（spark 2.4.1)，它在10%的情况下似乎工作正常，其他时候似乎永远停留在一个任务上，我不能真正理解发生了什么。以下是我在pyspark代码中所做的：

df = ss.read.parquet(...)
df2 = df.withColumn("A", my_python_udf(sf.col("position.latitude"))
print(df2.groupBy(sf.spark_partition_id()).count().agg(sf.min("count"), sf.max("count"), sf.avg("count")).toPandas())

我似乎永远停留在对“Topandas”调用的评价中。当我检查executors选项卡时，只有一个executors可以运行，调用堆栈如下：

null

编辑：我也有2个执行器失败，错误如下：

java.io.ioException：在net.razorvine.pickle.pickleutils.readbytes_into(pickleutils.java:75)在net.razorvine.pickle.pickleutils.readbytes(pickleutils.java:55)在net.razorvine.pickle.unpickler.load_binunicode(unpickler.java:473)在net.razorvine.pickle.unpickler.dispatch(unpickler.java:190)在:112)在org.apache.spark.sql.execution.python.batchevalpythonexec$$anonfun$evaluate$1.在org.apache.spark.sql.execution.python.batchevalpythonexec$$anonfun$evaluate$1.应用(batchevalpythonexec.scala:90)在scala.collection.iterator$$anon$12.应用(batchevalpythonexec.scala:89)在scala.collection.iterator$$anon$12.在9）在scala.collection.iterator$$Anon$11.HasNext(iterator.scala:409)在org.apache.spark.sql.catalyst.expressions.generateDClass$generatediteratorforcodegenstage2.agg_doAggregateWithKeys_0$（未知来源）在org.apache.spark.sql.catalyst.expressions.generatedclass$generatediteratorforcodegenstage2.processnext（未知来源）在org.apache.spark.sql.execution.bufferedrowiterator.hass在org.apache.spark.sql.execution.bufferedrowiterator.hass在:409)在org.apache.spark.shuffle.sort.unsafeshufflewriter.write(unsafeshufflewriter.java:187)在org.apache.spark.scheduler.shufflemaptask.runtask(shufflemaptask.scala:99)在org.apache.spark.scheduler.shufflemaptask.runtask(shufflemaptask.scala:55)在apache.spark.util.utils$.TryWithSafeFinally(utils.scala:1360)位于org.apache.spark.executor.executor$taskrunner.run（executor.scalA:409)在java.util.concurrent.ThreadPoolExecutor.runworker（ThreadPoolExecutor.java:1149)在java.util.concurrent.ThreadPoolExecutor$worker.run（ThreadPoolExecutor.java:624)在java.lang.Thread.run（Thread.java:748)

这让我相信我的代码之外的东西出了问题

Answer 1

在我的例子中，我的PySpark作业总是（不是随机地）卡在Pythonudfrunner等待数据中。

我发现它正在等待来自PySpark守护进程的数据，该守护进程用于启动python代码（python UDFs)，而不会浪费内存负载，同时将python进程(UDF)从Java进程（Spark）中分叉

因此，粗略地说，Python UDF由Spark序列化并发送到这个负责运行Python代码的守护进程。

在我的例子中，pyspark.zip来自Spark2.3.3，但Spark本身是用Spark2.4.5运行的。我用Spark2.4.5中的pyspark.zip替换了pyspark.zip，一切都开始成功运行。

我不认为你会有和我一样的问题，但也许它可以给你一些关于你的设置中正在发生的事情的想法。