将json文件从databricks移动到blob存储

Question

我在数据库中创建了一个连接到我的blob存储的挂载，并且我能够使用笔记本将文件从blob读取到数据库。

然后我使用pyspark将. txt转换为json格式，现在我想将其加载回blob存储。有人知道我会怎么做吗？

以下是我尝试过的一些事情：

＜code＞my_json.write。选项（“header”，“true”）.json（“mnt/my_mount/file_name.json”）

< code>write.json(my_json，mnt/my_mount)

两者都不起作用。我可以使用以下方法将csv文件从databricks加载到blob：

my_data_frame.write.option（"head"，"true"）. csv（"mnt/my_mount_name/filename.csv"）

这工作正常，但我找不到移动json的解决方案。

有什么想法吗？

Answer 1

免责声明：我是pySpark的新手，但这就是我所做的。

这是我在引用文档后所做的.sql.DataFrame作家.json

# JSON
my_dataframe.write.json("/mnt/my_mount/my_json_file_name.json")

# For a single JSON file
my_dataframe.repartition(1).write.json("/mnt/my_mount/my_json_file_name.json")

# Parquet
my_dataframe.write.mode("Overwrite").partitionBy("myCol").parquet("/mnt/my_mount/my_parquet_file_name.parquet")