如何告诉spark和zeppelin在AWS EMR中使用本地maven.m2目录？

Question

我创建了一个aws AMI，其中包含一个本地maven存储库，它位于/usr/local/

当我使用pyspark--packages导入jar包时，EMR实例在/home/hadoop中创建一个.ivy目录。Zeppellin将在/var/lib/zeppelin/local-repo中创建一个ID作为名称的目录

我如何指向pyspark、spark和zeppelin来使用我的本地maven存储库(/usr/local/.m2/repository)，而不是创建.ivy目录并从mave Central下载JAR？

我知道我可以使用pyspark--jars/local/path/to/jar.jar将jar从本地路径导入并复制到.ivy目录，但我更愿意使用spark和zeppelin来使用我的本地maven存储库。

另外，如果我在spark-default.conf中设置spark.driver.extraclasspath和spark.executor.extraclasspath/usr/local/.m2/repository/*，那么spark将能够在这些目录中查找JAR（因为inisde目录不包含.jar striaght,例如/usr/local/.m2/repository/groupid/artifactid/version/name.jar）

Answer 1

您应该能够动态加载依赖项，如：

%spark.dep

// add maven repository
z.addRepo("RepoName").url("RepoURL")

// add maven snapshot repository
z.addRepo("RepoName").url("RepoURL").snapshot()

// add credentials for private maven repository
z.addRepo("RepoName").url("RepoURL").username("username").password("password")

// add artifact from filesystem
z.load("/path/to.jar")

// add artifact from maven repository 
z.load("groupId:artifactId:version") 

有关更多详细信息，请查看文档:https://zeppelin.apache.org/docs/latest/interpreter/spark.html#3-dynamic-dependency-loading-via-sparkdep-interpreter