当前位置: 首页 > 知识库问答 >
问题:

Spark/Scala:将易受诱惑的数据存储到csv文件中

国兴贤
2023-03-14

我有一个程序,期待一个csv文件,并用python编写。

假设csv数据来自scala,scala使用spark功能存储源数据并存储到temp表中,如下所示。

abb.createOrReplaceTempView("tempt")

共有1个答案

司立果
2023-03-14

将“temp”声明为tempTable允许您在用spark编写SQL命令时引用它,如果您想保存数据,请使用abb.write.csv(“file_name”)

 类似资料:
  • 请看下面这个数据文件的架构 > 问题1:我需要将第一列数据分成两列,这样整数数据应该在一列中,数组数据应该在另一列中。不确定如何在Spark/Scala中实现?任何关于这一点的指示都将是有帮助的。 当我试图将此数据文件写入csv文件时,我得到了以下错误

  • 我正在处理一个包含uni_key和createdDate两列的数据帧。我运行一个SQL查询并将结果保存到中,现在我想将这些结果保存到csv文件中。有什么方法可以做到这一点吗?这是一个代码片段: 此代码当前出现以下错误: AttributeError:“DataFrameWriter”对象没有属性“csv”

  • 问题内容: 我正在尝试重组在Excel文件中组织降水数据的方式。为此,我编写了以下代码: 这段代码运行良好,通过Jupyter,我可以看到结果是不错的 但是,尝试将此数据帧保存到csv文件时遇到问题。 结果文件包含垂直索引列,看来我无法调用特定的单元格。 (希望有人可以帮助我解决这个问题)非常感谢! 问题答案: 全部在文档中。 您有兴趣跳过索引列,因此: 如果您还想跳过标题,请添加: 我不知道您的

  • (希望有人能帮我解决这个问题)非常感谢!!

  • 我正在尝试将位于azure datalake中的csv压缩为zip。该操作是使用datricks中的python代码完成的,我在其中创建了一个挂载点以将dbfs与datalake直接关联。 这是我的代码: 但是我收到了这个错误: 有什么办法吗? 提前感谢。