Spark dataframe will not show（）-Py4JJavaError：调用o426时出错。显示字符串
我有一个我不能的数据帧。显示（）。每次都会出现以下错误？是否可能存在损坏的列？
错误：
Py4JJavaError：调用o426.showString时出错。：org.apache.spark.SparkException：作业由于阶段失败而中止：阶段381.0中的任务0失败4次，最近一次失败：阶段381.0中丢失任务0.3（TID 19204，ddlps28.rsc.dwo.com，执行器99）：org.apache.spark.api.python.PythonException： Traceback（最近一次调用）：文件"/opt/cloud dera/parcels/SPARK2-2.2.0.cloudera1-1.cdh5.12.0. p0.142354/lib/spk2/python/pyspark/worker.py"，第177行，在主
共有1个答案
您的错误很可能实际上不在“show”操作中。就是这样。show是触发DAG执行的内容。你说过如果你不运行你的自定义项，它会起作用，你可能只是在该自定义项中有一个不同的错误。日志可能位于工作节点上，因此请尝试通过Hadoop UI访问执行器日志，以查看真正的破坏情况
-
我是PySpark的新手。我一直在用测试样本编写代码。一旦我在更大的文件上运行代码（3gb压缩）。我的代码只做了一些过滤和连接。关于py4J，我一直在出错。 任何帮助都是有益的，我们将不胜感激。 回来 更新：我使用的是py4j 10.7，刚刚更新到10.8 更新（1）：添加spark。驾驶员内存： 汇总返回错误： 更新（2）：我通过更改spark默认值尝试了这一点。conf文件。仍在获取错误PyS
-
我在运行Python 3.6.5的Jupyter笔记本和运行3.7.2的Python shell中出现了这个错误。我的操作系统是Windows10。我在这两种环境中都安装了pip pyspark。两者都使用Spark Version2.4.0，而我的Java JDK是Oracle JDK Version8，JDK1.8.0_201。这是我在这两种情况下运行的代码： 这里：Spyder中的PySpa
-
我想按照spark网站上的说明为spark安装graphframes，但命令： <代码>pyspark--打包graphframes:graphframes:0.8.1-spark3.0-s\u 2.12 不适合我。 我尝试了多种安装方法，但决定继续下载graphframes。jar，将其添加到Spark的常规列表中。jar文件并将其手动添加到代码spark中。sparkContext。addPy
-
我是一个学生，我真的被Py4JJavaError这个问题卡住了两个星期，在互联网上没有太多；我真的需要帮助： 请帮帮我这是下周要做的项目
-
本文向大家介绍使用PHP显示动态突出显示的字符串，包括了使用PHP显示动态突出显示的字符串的使用技巧和注意事项，需要的朋友参考一下 该功能可能用途有限，但可以在您的标题中创建一些整洁的效果。它的工作原理是使用空格将字符串分成几小段，然后将其重新放回两部分。第一部分是正常的，但是第二部分将被包裹在span元素中。通过使用此功能，您可以通过将前半部分的样式与后半部分的样式不同来在标题中创建有趣的效果。
-
我试图使用Spark，更具体地说是PySpark和结构化流来消费Kafka。 PY4JJavaError：调用O70时出错。AwaitTermination