如何将Spark数据帧（在Datatricks中）写入Blob存储（在Azure中）？

Question

我在DataBricks工作，在那里我有一个数据帧。

type(df) 
Out: pyspark.sql.dataframe.DataFrame

我唯一想要的就是将这个完整的spark数据帧写入Azure Blob存储。

我找到了这个帖子。所以我尝试了这个代码：

# Configure blob storage account access key globally
spark.conf.set(
  "fs.azure.account.key.%s.blob.core.windows.net" % storage_name,
  sas_key)

output_container_path = "wasbs://%s@%s.blob.core.windows.net" % (output_container_name, storage_name)
output_blob_folder = "%s/wrangled_data_folder" % output_container_path

# write the dataframe as a single file to blob storage
(datafiles
 .coalesce(1)
 .write
 .mode("overwrite")
 .option("header", "true")
 .format("com.databricks.spark.csv")
 .save(output_blob_folder))

运行该代码会导致以下错误。更改拼花和其他格式的“csv”部分也失败了。

org.apache.spark.sql.AnalysisException: CSV data source does not support struct<AccessoryMaterials:string,CommercialOptions:string,DocumentsUsed:array<string>,Enumerations:array<string>,EnvironmentMeasurements:string,Files:array<struct<Value:string,checksum:string,checksumType:string,name:string,size:string>>,GlobalProcesses:string,Printouts:array<string>,Repairs:string,SoftwareCapabilities:string,TestReports:string,endTimestamp:string,name:string,signature:string,signatureMeaning:bigint,startTimestamp:string,status:bigint,workplace:string> data type.;

因此，我的问题（这应该很容易是我的假设）：如何将我的火花数据帧从DataBricks写入Azure Blob存储？

我的Azure文件夹结构如下所示：

Account = MainStorage 
Container 1 is called "Data" # containing all the data, irrelevant because i already read this in. 
Container 2 is called "Output" # here I want to store my Spark Dataframe. 

非常感谢提前！

编辑我正在使用Python。然而，我不介意解决方案是否使用其他语言（只要DataBricks支持它们，比如R/Scala等）。如果有效，它就是完美的：-）

Answer 1

假设您已经挂载了blob存储，请使用以下方法将数据帧写入csv格式。
请注意，新创建的文件将具有带有csv扩展名的一些默认文件名，因此您可能需要用一致的名称重命名它。

// output_container_path= wasbs://[e-mail]/DirectoryName 
val mount_root = "/mnt/ContainerName/DirectoryName"
df.coalesce(1).write.format("csv").option("header","true").mode("OverWrite").save(s"dbfs:$mount_root/")