改进PySpark DataFrame.show输出以适合Jupyter笔记本

Question

在Jupyter笔记本中使用PySpark，Spark的数据帧的输出。与熊猫数据帧的显示方式相比，show的技术含量较低。我想“好吧，它很管用”，直到我得到这个：

输出未根据笔记本的宽度进行调整，因此线条以难看的方式缠绕。有没有办法定制这个？更好的是，有没有一种方法可以获得输出Pandas样式（显然不转换为Pandas.DataFrame）？

Answer 1

你可以使用一个html魔法命令。通过检查输出单元来检查CSS选择器是否正确。然后相应地在下面编辑并在单元格中运行它。

%%html
<style>
div.output_area pre {
    white-space: pre;
}
</style>

Answer 2

在摆弄了我的表（表中有很多列）之后，我决定最好使用：

df.show(n=5, truncate=False, vertical=True)

它垂直显示，没有截断，是我能想到的最干净的视图。

Answer 3

现在，通过将spark.sql.repl.eagerEval.enabled设置为True，可以在Spark 2.4.0中实现这一点：