在Spark集群模式下设置环境变量

Answer 1

为了将来的参考，您可以在创建EMR集群时使用Configurations参数直接传递环境变量，如这里的文档中所述。

具体来说，可以通过传递配置JSON来修改spark-defaults文件，如下所示：

{
    'Classification': 'spark-defaults',
    'Properties': {
        'spark.yarn.appMasterEnv.[EnvironmentVariableName]' = 'some_value',
        'spark.executorEnv.[EnvironmentVariableName]': 'some_other_value'
    }
},

其中spark.YARN.appmasterenv.[EnvironmentVariableName]将用于在集群模式下使用YARN传递变量（此处）。和spark.executorenv.[EnvironmentVariableName]将一个变量传递给executor进程。