文件实用程序写入方法不适用于 Azure 数据砖

Question

我在编写数据砖集群的驱动程序（作为临时文件）上文件时遇到问题。我在公司的Azure数据砖上有一个scala笔记本，其中包含以下代码行：

val xml: String = Controller.requestTo(url)
val bytes: Array[Byte] = xml.getBytes

val path: String = "dbfs:/data.xml"
val file: File = new File(path)
FileUtils.writeByteArrayToFile(file, bytes)

dbutils.fs.ls("dbfs:/")

val df = spark.read.format("com.databricks.spark.xml")
                   .option("rowTag", "generic:Obs")
                   .load(path)

df.show

file.delete()

然而，它会随着org.apache.hadoop.mapreduce.lib.input.InvalidInputException而崩溃：输入路径不存在：dbfs：/data.xml。当我在dbfs的根目录上运行ls时，它不会显示文件data.xml，所以对我来说，FileUtils没有发挥作用。更让我陷入困境的是，以下代码在同一个集群、同一个Azure资源组、同一个Database ricks实例但在另一个笔记本上运行时有效：

val path: String = "mf-data.grib"
val file: File = new File(path)
FileUtils.writeByteArrayToFile(file, bytes)

我尝试重新启动集群，从路径中删除“dbfs:/”，将文件放在dbfs:/tmp/目录中，使用FileUtils。writeStringToFile（file，xml，StandardCharsets.UTF_8）而不是FileUtils。writeByteArrayToFile＜/code＞，但这些解决方案都不起作用，即使在组合它们时也是如此。




Answer 1

尝试删除＜code＞dbfs＜/code＞here：＜code>val path:String=“dbfs:/data.xml”＜/code>以便于理解。我给出了3个不同的神奇命令单元＜code>%sh、%fs、%scala＜/code＞。您可以在这里引用：

Answer 2

如果您使用的是本地API，例如File，则需要使用相应的本地文件访问-而不是使用dbfs:/，您需要使用/dbfs/作为路径前缀，因此您的代码将如下所示：

val file: File = new File(path.replaceFirst("dbfs:", "/dbfs")