当前位置: 首页 > 知识库问答 >
问题:

如何传递-d参数或环境变量到火花作业?

贺皓
2023-03-14

我想在dev/prod环境中更改Spark作业的类型安全配置。在我看来,实现这一点的最简单方法是将-dconfig.resource=envname传递给作业。那么Typesafe配置库将为我完成这项工作。

  • --conf“spark.executor.extraJavaOptions=-dconfig.resource=dev”选项添加到spark-submit命令时,不会发生任何情况。
  • 我收到错误:当我将-dconfig.resource=dev传递给spark-submit命令时,无法识别选项“-dconfig.resource=dev”。

共有1个答案

毕泽宇
2023-03-14

更改spark-submit命令行,添加三个选项:

  • --文件
  • --conf'spark.executor.extraJavaOptions=-dconfig.resource=app'
  • --conf'spark.driver.extraJavaOptions=-dconfig.resource=app'
 类似资料:
  • 问题内容: 我正在尝试将有角度的应用程序从gulp转换为webpack。在gulp中,根据NODE_ENV,我使用gulp- preprocess替换html页面中的某些变量(例如,数据库名称)。使用webpack达到类似结果的最佳方法是什么? 问题答案: 有两种基本方法可以实现此目的。 定义插件 请注意,这只会按原样替换匹配项。这就是字符串具有其格式的原因。您可能有一个更复杂的结构,例如那里的一

  • 我需要在Dockerfile中传递环境变量,如下所示。我可以知道做这件事的有效方法吗。我尝试使用构建参数 但它没有用。 这是我的 Dockerfile 所以当我运行我的docker容器时,我相信我不想向它发送任何环境变量。 请指教。

  • 问题内容: 我是Docker的新手,目前尚不清楚如何从容器访问外部数据库。硬编码连接字符串的最佳方法是吗? 问题答案: 您可以使用该标志将环境变量传递到您的容器。 启动脚本的示例: 或者,如果您不希望在命令行中使用,等显示该值,则可以直接从当前环境中获取该值,如果您不带: 如果您有许多环境变量,尤其是要保密的话,可以使用env文件: --env-file标志将文件名作为参数,并期望每行采用VAR

  • 我是Docker的新手,不清楚如何从容器访问外部数据库。是在连接字符串中硬编码的最佳方法吗?

  • 问题内容: 我有一个项目,需要根据用户选择的选择参数设置环境变量。每个项目都有一个主题项目依赖项。我想让用户选择项目,然后从属性文件中加载主题名称。就像是 如果用户从choice参数中选择,我想自动设置为。最好的方法是什么? 每当添加新项目时,我都不想修改Jenkins作业配置。相反,我想将映射保存在文件中,以便可以在版本控制中使用它。 问题答案: 啊哈,我找到了一个简单的解决方案!使用EnvIn

  • 组件具有变量作为观察者: 当