从HDInsight OnDemand连接到SQL数据仓库

Question

我正在尝试从spark on demand HDInsight集群向Azure SQL数据仓库读/写数据。

通过使用脚本操作来安装jdbc驱动程序，我可以在普通的HDInsight spark集群上实现这一点，但我认为不可能在按需集群上运行脚本操作。

我试过了

• 正在从%user%复制文件。m2\repository\com\microsoft\sqlserver\mssql jdbc\6.2.2。jre8最多可将blob存储在一个名为jars的文件夹中，该文件夹位于内置spark代码的旁边

这两种情况都导致了java。lang.NoClassDefFoundError

我对scala/maven/JVM/etc不太熟悉，所以不确定在这个问题中还应该尝试或包括什么。

我试图运行的Scala代码是

val sqlContext = SparkSession.builder().appName("GenerateEventsSql").getOrCreate()

val jdbcSqlConnStr = "jdbc:sqlserver://someserver.database.windows.net:1433;databaseName=myDW;user=admin;password=XXXX;"

val tableName = "dbo.SomeTable"

val allTableData = sqlContext.read.format("jdbc")
                    .options(Map(
                      "driver" -> "com.microsoft.sqlserver.jdbc.SQLServerDriver",
                      "url" -> jdbcSqlConnStr, "dbtable" -> tableName)
                    )
  .load()

Answer 1

Blob存储文件夹上的罐无法访问HDInsiveSpark作业的类路径。您需要将jar文件复制到本地主机，例如 /tmp/jars/xyz.jar，并在Spark提交命令中提到同样的内容。

例如。

nohup spark-submit --jars /tmp/jars/xyz.jar