当前位置: 首页 > 面试题库 >

如何将PySpark中的表数据框导出到CSV?

顾兴昌
2023-03-14
问题内容

我正在使用Spark
1.3.1(PySpark),并且已经使用SQL查询生成了一个表。我现在有一个对象是DataFrame。我想将此DataFrame对象(我称其为“表”)导出到一个csv文件,以便我可以操纵它并绘制列。如何将DataFrame“表格”导出到csv文件?

谢谢!


问题答案:

如果数据帧适合驱动程序内存,并且您想保存到本地文件系统,则可以使用方法将Spark
DataFrame
转换为本地Pandas
DataFrame
toPandas,然后简单地使用to_csv

df.toPandas().to_csv('mycsv.csv')

否则,您可以使用spark-csv:

  • 火花1.3

    df.save('mycsv.csv', 'com.databricks.spark.csv')
    
  • 火花1.4+

    df.write.format('com.databricks.spark.csv').save('mycsv.csv')
    

在Spark 2.0+中,您可以csv直接使用数据源:

df.write.csv('mycsv.csv')


 类似资料:
  • 问题内容: 我有一个Spark数据框,我试图将其推送到AWS Elasticsearch,但是在此之前,我正在测试此示例代码段以推送到ES, 我收到一个错误消息, java.lang.ClassNotFoundException:无法找到数据源:org.elasticsearch.spark.sql。 请在http://spark.apache.org/third-party- projects.

  • 问题内容: 初学者ES问题在这里 将Spark数据框推送到Elastic Search的工作流程或步骤是什么? 通过研究,我相信我需要使用spark.newAPIHadoopFile()方法。 但是,在研究ElasticSearch文档和其他StackQ / A时,我仍然对参数需要采用的格式以及为什么使用它感到困惑 请注意,我正在使用pyspark,这是ES的新表(尚无索引),并且df是5列(2个

  • 我想知道如何将表数据导出到csv中?我读到我需要使用mysql工作台命令行,但我不知道如何启动cmd行(不知道命令是什么)。 在 Windows 7 64 位上运行。

  • 本文向大家介绍c# 将Datatable数据导出到Excel表格中,包括了c# 将Datatable数据导出到Excel表格中的使用技巧和注意事项,需要的朋友参考一下 话不多说,请看代码: 以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,同时也希望多多支持呐喊教程!

  • 我在网上读到,您可以使用几种不同的方法将数据帧的内容保存到数据湖中的CSV文件中。我的dataframe很好,但我似乎不能将它保存到CSV文件中。我很乐意把这个CSV放在湖里,或者放在我的桌面上。任何一个都没问题。 尝试1: 尝试2: 两种选择对我都不起作用。对于这两种情况,我将得到一条错误消息,内容为