尝试从Spark Submit连接到Azure SQL DB时发生ADAL4J javax邮件解析异常

Question

我正在尝试使用Spark connector for Azure SQL Databases library（GitHub）从Spark获取数据并将其批量插入Azure数据库。我试图使用“ActiveDirectoryPassword”作为身份验证方法，但adal4j总是抛出一个声明javax的AuthenticationException异常。邮政互联网已引发ParseException。

我正在构建一个包含所有库的胖罐子，并使用火花提交来运行它。

Azure组织有一个自定义域。

对于用户配置选项，我已尝试：

• [e-mail]
• myUser
• [e-mail]@myDB.database.windows.net
• [e-mail]@database.windows.net
• [e-mail]

当我将字段留空时，它会抛出一个错误，即用户名为空。

我可以使用该用户通过Azure Active Directory登录Azure Data Studio。

这是我用来加载数据的片段：

val config = Config(Map(
    "url" -> "myDB.database.windows.net",
    "databaseName" -> "DatabaseName",
    "user" -> "[e-mail]",
    "password" -> "****",
    "authentication" -> "ActiveDirectoryPassword",
    "encrypt" -> "true",
    "trustServerCertificate" -> "false",
    "hostNameInCertificate" -> "myDB.database.windows.net",
    "dbTable" -> "test.testing",
    "bulkCopyBatchSize" -> "2500",
    "bulkCopyTableLock" -> "true",
    "bulkCopyTimeout" -> "600"
  ))

  val session = SparkSession.builder.appName("App").enableHiveSupport.getOrCreate
  val sqlContext = session.sqlContext
  val df = sqlContext.sql(s"SELECT * FROM myTable")

  df.bulkCopyToSqlDB(config)

这里是抛出的异常：

com.microsoft.sqlserver.jdbc.SQLServerException: Failed to authenticate the user [e-mail] in Active Directory (Authentication=ActiveDirectoryPassword).
        at com.microsoft.sqlserver.jdbc.SQLServerADAL4JUtils.getSqlFedAuthToken(SQLServerADAL4JUtils.java:62)
        at com.microsoft.sqlserver.jdbc.SQLServerConnection.getFedAuthToken(SQLServerConnection.java:4264)
        at com.microsoft.sqlserver.jdbc.SQLServerConnection.onFedAuthInfo(SQLServerConnection.java:4237)
        ......Truncated for readability......
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.util.concurrent.ExecutionException: com.microsoft.aad.adal4j.AuthenticationException: javax/mail/internet/ParseException
        at com.microsoft.sqlserver.jdbc.SQLServerADAL4JUtils.getSqlFedAuthToken(SQLServerADAL4JUtils.java:60)
        ... 48 more
Caused by: com.microsoft.aad.adal4j.AuthenticationException: javax/mail/internet/ParseException
        at com.microsoft.sqlserver.jdbc.SQLServerADAL4JUtils.getSqlFedAuthToken(SQLServerADAL4JUtils.java:53)
        ... 48 more

提前谢谢

Answer 1

重写javax。最新版本的邮件jar→ javax。邮件-1.6.2。使用“火花”的罐子。驾驶员“路径”和“火花”。遗嘱执行人。spark submit命令中的extraClassPath选项并运行它，应该可以工作。