有没有办法将dbfs（数据库）路径中的csv文件分配给pyspark中的变量？

Question

我正在数据库中执行以下代码，将火花数据帧转换为csvdataframe.csv并存储在dbfs路径中。

df.coalesce(1)\
 .write\
 .format("com.databricks.spark.csv")\
 .option("header", "true")\
 .save("dataframe.csv")

这个文件是在dbfs:/dataframe.csv中创建的。我需要为这个文件指定一个文件名，这样我就可以将这个文件附加到邮件中。我正在使用:

文件名=pandas.read_csv（"dataframe.csv"）

但这给我带来了错误：＜code＞IOError:文件数据帧。csv不存在

有人能帮我吗？

Answer 1

您需要在文件名前面加上/dbfs文件夹，如下所示：

filename = "/dbfs/somefile.csv"
frame = pd.read_csv(filename)

在这里，您将使用Databricks文件系统的本地文件API，这是与这个分布式文件系统交互的几种方式之一。