当前位置: 首页 > 知识库问答 >
问题:

将多个系统属性传递给spark-submit

顾磊
2023-03-14
The input line is too long.
 --conf spark.driver.extraJavaOptions=-Dcassandra.username=cassandra

共有1个答案

郭凡
2023-03-14

您可以使用conf文件并将其传递给spark-submit

像下面这样传递

--conf spark.driver.extraJavaOptions=-Dcassandra.username=cassandra\
--conf spark.rpc.message.maxSize=1024\
--conf spark.network,timeout=1000\
 类似资料:
  • 问题内容: 我有一个属性指令,其限制如下: 我需要传递两个属性;一个数字和一个函数/回调,使用对象在指令中访问它们。 如果指令是元素指令,那么我可以限制为: 但是,出于某种原因,我不再赘述,我需要将该指令作为属性指令。 如何将多个属性传递到属性指令中? 问题答案: 该指令可以访问在同一元素上定义的任何属性,即使该指令本身不是该元素也是如此。 模板: 指示: 如果attribute的值将被硬编码,则

  • Amazon EMR是否允许将系统属性传递给自定义jar,例如hadoop jar-Dkey=value-myjob。jar?(

  • 问题内容: 我有一个主类,期望使用-D选项传递某些属性。我可以通过将其作为VM选项发送来在IDE中访问它。 我使用Maven并在尝试以下操作时将此应用程序打包到jar文件中: 要么 没有获取环境系统属性。 关于发生了什么的任何指示? 问题答案: 在。之前传递参数。如果在jar文件之后传递它们,它们将被解释为命令行参数并传递给in 。喜欢,

  • 我正在使用gradle tooling api,我遇到了下面的场景。有一个应用某个插件P的项目,它只在传递shouldApplyP属性时才创建任务T。 因此,如果您将运行,您将看不到任务T,但是如果您将运行,您将看到任务T。 在gradle tooling api中,一旦创建了,我就可以执行 但我看不到这个具体的任务。是否有方法将此属性传递给项目连接,以便在方法中显示该属性?

  • 我目前正在进行struts升级(从struts 1.x迁移到2.x) 我的项目有一个自定义标记处理程序类,用于格式化应用程序中的数字 TLD文件 FormatNumberTag类 JSP 这里,AccountBean是bean,floatingRate是属性 1)在标签处理程序类上面,(org.apache.struts.util.请求Utils)请求Utils.lookup 相应的方法是什么 2

  • 问题内容: 这开始让我发疯..但是似乎我很没办法亲自找出来:/ 我需要设置一个机制,以共享字符串值两个从机,例如,名为从属 甲 和从 乙 。 但是它仍然旨在使能够在buildscript中进行访问,而不是在Slaves环境变量本身中进行访问。(相关的SO问题:在Windows批处理命令的Jenkins中如何使用环境变量? 目前,我有此设置: 1)在 一个 工作 一个 被触发。 它执行以下Windo