如何从Azure Data Lake Gen2访问XML文件并将其转换为Azure Database ricks中的数据帧？

Question

我们需要访问位于Azure Data Lake Gen2中的XML文件，并将其转换成如下所示的dataframe。

示例数据：

<SOAP-ENV:Envelope
   xmlns:SOAP-ENV="http://schemas.xmlsoap.org/soap/envelope/">

<SOAP-ENV:Body>
           <ns2:getProjectsResponse
               xmlns:ns2="http://www.logic8.com/eq/webservices/generated">
               <ns2:Project>
                   <ns2:fileName>P10001</ns2:fileName>
                   <ns2:alias>project1</ns2:alias>
               </ns2:Project>
               <ns2:Project>
                   <ns2:fileName>P10002</ns2:fileName>
                   <ns2:alias>project2</ns2:alias>
               </ns2:Project>
       <ns2:Project>
                   <ns2:fileName>P10003</ns2:fileName>
                   <ns2:alias>project3</ns2:alias>
               </ns2:Project>
           </ns2:getProjectsResponse>
       </SOAP-ENV:Body>
   </SOAP-ENV:Envelope>

预期数据帧输出：

任何人都可以帮我这个。

Answer 1

首先，您需要学习从Azure data Lake Gen2读取数据到Azure数据块。

有很多教程可以学习：

1. 数据砖：从 Blob 存储导入数据。这篇博客文章介绍了如何将数据从 Blob 存储导入 Azure 数据砖。
2. 数据砖 Azure Blob 存储：本文介绍如何通过使用 DBFS 装载存储或直接使用 API 来访问 Azure Blob 存储。

其次，关于xml数据类型，你需要使用使用@Axel R已经在评论中提供的databricks spark-xml库。

1. 将 spark-xml 库导入工作区 https://docs.databricks.com/user-guide/libraries.html#create-a-library（在“生成/火花包”部分中搜索 spark-xml 并将其导入）
2. 将库附加到群集 https://docs.databricks.com/user-guide/libraries.html#attach-a-library-to-a-cluster
3. 在笔记本中使用以下代码读取 xml 文件，其中“注释”是 xml 文件的根。

xmldata=spark.read.format（'xml'）.option（“rootTag”，“note”）.load（'dbfs:/mnt/mydatafolder/xmls/note.xml'）

请参考：如何读取XML文件Azure Database ricks Spark。

结合这些文件，我想你可以解决你的问题。我不太了解Azure databricks，很抱歉我不能为您测试。

希望这有所帮助。