当前位置: 首页 > 知识库问答 >
问题:

spark中首选哪些配置选项?

濮阳繁
2023-03-14

我想询问火花中哪个配置选项优先?是配置文件还是我们在运行火花提交shell时手动指定的选项?如果我在配置文件中有不同的执行程序内存选项并且我在运行火花提交shell时指定了不同的值怎么办?

共有1个答案

金阳华
2023-03-14

Spark(1.5.0)配置页面明确说明了优先级:

直接在SparkConf上设置的属性具有最高的优先级,然后是传递给spark submit或spark shell的标志,然后是spark默认值中的选项。conf文件。

所以这是优先级顺序(从最高到最低):

  • SparkConf上设置的属性(在程序中)。
  • 将标志传递给spack-递交spack-shell
  • spark-defaults.conf文件中设置的选项。
 类似资料:
  • 问题内容: 我在任何地方都找不到真正的信息,我正在寻找可以在API中使用的可能键的列表。 这里是一些上下文: 现在,如果要指定客户端SSL,则需要将其配置为FireFox配置文件的首选项。我正在尝试查找所有首选项的列表,以便可以使用它。 问题答案: 你可以看一下这是在

  • 关于首选项 首选项是关于您希望 Illustrator 如何工作的选项,包括显示、工具、标尺单位和导出信息。您的首选项存储在名为 “AIPrefs”(Windows) 或 “Adobe Illustrator Prefs”(Mac OS) 的文件中,每次您启动 Illustrator 时它也随之启动。要恢复 Illustrator 的默认设置,您可以删除或重命名首选项文件并重新启动 Illustr

  • 以下各节介绍“首选项”对话框和可以使用此菜单执行的各种任务。 “首选项”对话框 要打开“首选项”对话框,请转到: “编辑”>“首选项”> [类别名称] (Windows) After Effects >“首选项”> [类别名称] (Mac OS) 使用以下键盘快捷键打开“首选项”>“常规”菜单: Ctrl+Alt+;(分号)(Windows) Command+Option+;(分号)(Mac OS

  • 问题内容: 似乎只有少数JVM是Java实时规范(RTSJ)的实现。Sun / Oracle Java Real- TimeSystem的价格超过6000美元,IBM的实时WebSphere的价格超过7000美元,因此许多Java开发人员可能永远都没有机会使用它们中的任何一个。甲骨文的JRockit似乎是一个免费的实时Java实现,具有可预测的确定性行为,尽管我不确定,因为他们的文档非常注重营销语

  • Spring Cloud Stream支持常规配置选项以及绑定和绑定器的配置。一些绑定器允许额外的绑定属性来支持中间件特定的功能。 可以通过Spring Boot支持的任何机制将配置选项提供给Spring Cloud Stream应用程序。这包括应用程序参数,环境变量和YAML或.properties文件。 Spring Cloud Stream Properties spring.cloud.s

  • 关于首选项 为了让 Illustrator 根据您特定的工作流程尽可能流畅地运行,您需要根据自己的喜好设置首选项。 许多程序设置都存储在 Adobe Illustrator Prefs 文件中,其中包括常规显示选项、文件存储选项、性能选项、文字选项以及增效工具和暂存盘选项。其中大多数选项都是在首选项对话框中设置的。每次退出应用程序时都会存储首选项设置。 如果出现异常现象,可能是因为首选项已损坏。如