Spark：目录中的附加属性

Question

├── AddToCollection
│   ├── query
│   ├── root
│   ├── schema
│   └── schema.json
├── CreateCollectionSuccess
│   ├── query
│   ├── root
│   ├── schema
│   └── schema.json
├── FeedCardUnlike
│   ├── query
│   ├── root
│   ├── schema
│   └── schema.json

在独立模式下，我可以通过指定文件在本地系统中的位置来解决这个问题。但是它在集群模式下不起作用，在集群模式下，我使用了一个带有spark-submit命令的jar。我如何在Spark中做到这一点？

Answer 1

这可以在Spark 1.6.1上运行（我还没有测试过早期版本）

spark-submit支持--files参数，该参数接受一个逗号分隔的“本地”文件列表，该列表将与JAR文件一起提交给驱动程序。

spark-submit \
    --class com.acme.Main \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 2g \
    --executor-memory 1g \
    --driver-class-path "./conf" \
    --files "./conf/app.properties,./conf/log4j.properties" \
    ./lib/my-app-uber.jar \
    "$@"

在本例中，我创建了一个不包含任何属性文件的Uber JAR。部署应用程序时，app.properties和log4j.properties文件被放置到本地。/conf目录中。