在Spark中设置executor环境变量
我使用spark-defaults分类[http://docs.aws.amazon.com/emr/latest/releaseGuide/emr-spark-configure.html]并提供以下属性:-spark.yarn.appmasterenv.foo=“foo”来设置yarn主目录中的环境变量。
共有1个答案
由属性spark.yarn.appmasterenv.foo=“foo”设置的环境变量不会出现在executor实例上。
我使用以下分类来设置executor和master节点上的环境变量：
[
{
"Classification": "yarn-env",
"Properties": {},
"Configurations": [
{
"Classification": "export",
"Properties": {
"VARIABLE_NAME": VARIABLE_VALUE,
}
}
]
}
]
-
问题内容： 我试图访问Accumulo 1.6 从Apache的星火使用的作业（Java编写的）用。为了做到这一点，我必须通过调用该方法来告知在哪里定位ZooKeeper 。此方法采用一个对象，该对象指定各种相关属性。 我通过调用静态方法来创建对象。该方法应该在各个位置查找文件以从中加载其默认值。它应该看的地方之一是。 因此，我试图以这样的方式设置环境变量，使其在Spark运行作业时可见（作为参考
-
问题内容： 有没有一种方法可以在Linux中使用C设置环境变量？ 我尝试了和，但是它们似乎并没有为我工作。 问题答案： 我将在这里做出一个疯狂的猜测，但是这些功能似乎不起作用的正常原因不是因为它们不起作用，而是因为用户并不真正了解环境变量的工作原理。例如，如果我有此程序： 然后我从外壳程序运行它，它不会修改外壳程序的环境- 子进程无法做到这一点。这就是为什么内置可修改环境的shell命令的原因，以
-
我尝试为将在Windows子系统Linux中运行的Visual Studio Code任务设置环境变量。然而，它似乎不起作用。这是我的tasks.json： 输出为： 请注意，默认情况下，shell已被手动修改为WSL的，正如这里和这里推荐的那样。
-
问题内容： 使用JetBrains的WebStorm官方Node插件（以及它们的其他IDE）运行Node.js应用程序时，是否可以设置环境变量？ 问题答案： 不，从WebStorm不可能，应该在系统中定义环境变量。 更新：在新版本中，可以在“运行/调试”配置中设置环境变量。
-
我正在使用react-本地构建一个跨平台的应用程序，但我不知道如何设置环境变量，以便我可以为不同的环境拥有不同的常量。 例子：