通过MLflow项目中的Spark访问Databricks中的Delta Lake表

Question

我目前正在使用火花从数据库笔记本访问deltalake表。但是现在我需要从MLflow项目访问delta表。MLflow火花api只允许记录和加载SparkML模型。知道如何实现吗？

目前，我正在尝试通过MLflow项目中的此代码访问火花：

spark = pyspark.sql.SparkSession._instantiatedSession
if spark is None:
  # NB: If there is no existing Spark context, create a new local one.
  # NB: We're disabling caching on the new context since we do not need it and we want to
  # avoid overwriting cache of underlying Spark cluster when executed on a Spark Worker
  # (e.g. as part of spark_udf).
  spark = ( pyspark.sql.SparkSession.builder \
   .config("spark.python.worker.reuse", True)
   .config("spark.databricks.io.cache.enabled", False)
   # In Spark 3.1 and above, we need to set this conf explicitly to enable creating
   # a SparkSession on the workers
   .config("spark.executor.allowSparkContext", "true")
   .master("local[*]")
   .appName("MLflow Project")
   .getOrCreate()
  )

但是我得到这个错误：

py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.

Answer 1

它应该以与不在笔记本中运行的普通 Spark 项目相同的方式完成：

• 将依赖项添加到spark-submit或pyspark，您需要安装 可以从代码本身设置，请参阅下一步）：

pyspark --packages io.delta:delta-core_2.12:1.1.0 \
  --conf "spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension" \
  --conf "spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog"

• 创建一个Spark会话对象并使用它：

import pyspark
from delta import *

builder = pyspark.sql.SparkSession.builder.appName("MyApp") \
  .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
  .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")

spark = configure_spark_with_delta_pip(builder).getOrCreate()

增量文档中包含的快速入门指南中介绍了这些步骤。

如果数据驻留在Azure data Lake Storage、AWS S3或GCP上，则可能需要添加其他包

Answer 2

在Databricks笔记本中运行MLflow项目（例如，针对连接到该集群的笔记本中的现有交互式集群）目前不受支持，原因有几个（例如，缺少对为运行项目而创建的子进程的身份验证传播）。