Databricks表/架构部署

Question

目的

我们使用Databricks集群进行ETL流程，使用Databricks笔记本进行DS、ML和QA活动。

目前，我们不使用Databricks目录或外部Hive Metastore。我们以Spark StructType格式编程定义模式，并将路径硬编码如下:

表/some_table.py

class SomeTable(TableBase):

   PATH = os.getenv('SOME_TABLE_PATH', /some_folder/some_subfolder/) # actually it's passed as constructor arg

   SCHEMA = {
       "type": "struct",
       "fields": [
          {
              "name": "some_field",
              "type": "string",
              "nullable": true
          },
          ...
       ]

   def schema() -> StructType:
       return StructType.fromJson(self.SCHEMA)

   def save(df: DataFrame):
       df.write.parquet(self.PATH)

   def read(year: str, month: str, day: str) -> DataFrame:
       return self.spark \
           .read \
           .parquet(self.PATH) \
           .filter((F.col('YEAR') == year) & ...)

我们时不时地进行一些重构，更改表的路径、模式或分区。这是一个问题，因为Database ricks是开发人员、QA和数据科学家之间的共享平台。每次更改时，我们都必须更新所有笔记本并在多个地方留档。

此外，我还想在将来使用扣扣（聚类）、表统计、德尔塔湖、SQL语法数据探索、视图和一些安全特性。这些特性还需要数据库可访问的表定义。

您通常如何部署Database ricks模式及其更新？我应该使用SQL脚本，这些脚本在集群启动时由基础架构即代码工具自动执行吗？或者有更简单/更好的解决方案吗？

使用数据砖/火花写入的数据框的架构可以使用 df.write.saveAsTable（“some_table”）创建。但这不是最好的解决方案，因为：

>

我想在第一次写入之前定义模式。例如，我正在将500列的数据集转换为100列，并且希望根据模式定义仅选择必需的列。

有一些只读数据集与其他工具（如ADF或Nifi）一起摄取（写入）

使现代化

我喜欢使用AWS Glue（被EMR用作Hive Metastore）并通过云形成进行部署的经验。我想Database ricks有类似甚至更简单的体验，只是想知道什么是最佳实践。

更新 #2

回答问题的额外要点 - 如何在Databricks目录（或外部Hive Meta存储）和我们的代码库之间不重复shcema定义？

如果我们用SQL语法描述我们的模式，我们将不能在单元测试中重用它们。对于基于上述格式部署模式，有什么干净的解决方案吗(参见代码片段)？

PS：目前我们使用Azure云

Answer 1

对于AWS上的Databricks，AWS Glue Catalog是一种强大的方法，可以将您的元存储集中到所有计算和查询引擎中。您可以使用相同的数据定义。Glue Catalog促进云范围的数据策略，避免使用特定于产品的数据目录和访问控制创建数据仓库。有关详细信息，请参阅此Databricks博客文章：https://docs.databricks.com/data/metastores/aws-glue-metastore.html

在性能方面，通过定义架构，您将看到提升，并且您将能够收集表

Spark 可以在读取镶木地板或三角洲湖表时找出架构。对于 Parquet 表和 JSON 表，您可以通过仅向 Spark 提供一个要从中推断架构的文件，然后在下一遍中读取整个文件夹来加快架构推理。元存储可以避免这种麻烦并加快查询速度。