在Dataproc集群中使用AD认证写入AzureSQL时出现NoClassDefFoundError。但在本地工作正常

Question

我已经编写了Spark Scala代码。我有一个奇怪的问题，我能够在Dataproc集群中使用AD身份验证成功读取Azure SQL。但我在写入Azure SQL时出现以下错误。

NoClassDefFoundError: com/microsoft/aad/adal4j/AuthenticationException

我只有在Dataproc集群中运行时才收到此错误。相同的代码在我的本地机器上运行良好。

更清楚的是，我在阅读Dataproc时也遇到了同样的错误，我使用Maven shade插件重新定位冲突库，从而解决了这个问题。但现在我在写作时又犯了同样的错误。不确定出了什么问题。为什么在Dataproc中写入失败？请帮忙

代码示例：

正在读取Azure SQL（工作正常）：

spark.read
      .format("com.microsoft.sqlserver.jdbc.spark")
      .option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver")
      .option("encrypt", "false")
      .option("url", url)
      .option("database", database)
      .option("user", user)
      .option("password", password)
      .option("query",  query)
      .option("authentication", "ActiveDirectoryPassword")
      .load()

正在写入Azure SQL（Dataproc失败）：

df.write
      .format("jdbc")
      .mode(mode)
      .option("url", url)
      .option("database", database)
      .option("user", user)
      .option("password", password)
      .option("dbtable",  table)
      .option("authentication", "ActiveDirectoryPassword")
      .save()

Maven Shade插件：

                            <relocation>
                                <pattern>com</pattern>
                                <shadedPattern>repackaged.com.microsoft</shadedPattern>
                                <includes>
                                    <include>com.microsoft.**</include>
                                </includes>
                            </relocation>

其他Azure依赖项：

<dependency>
            <groupId>com.microsoft.azure</groupId>
            <artifactId>msal4j</artifactId>
            <version>1.10.0</version>
        </dependency>

        <dependency>
            <groupId>com.microsoft.azure</groupId>
            <artifactId>adal4j</artifactId>
            <version>1.6.7</version>
        </dependency>

        <dependency>
            <groupId>com.microsoft.azure</groupId>
            <artifactId>spark-mssql-connector_2.12</artifactId>
            <version>1.2.0</version>
        </dependency>

Answer 1

我通过在写操作中添加. ption（"驱动程序"，"com.microsoft.sqlserver.jdbc.SQLServerDriver"）解决了这个问题，并且成功了。发现此处突出显示的问题