火花提交纱线模式HADOOP_CONF_DIR内容

Question

我正在从我的开发机器上启动spark-submit。

根据在YARN文档上运行Spark，我应该在env varhadoop_conf_dir或yarn_conf_dir上为hadoop集群配置提供一个路径。这就是它变得棘手的地方：如果我将任务发送到远程YARN服务，为什么这些文件夹必须存在于我的本地机器上？这是否意味着spark-submit必须位于集群内部，因此我不能远程启动spark任务？如果没有，我应该用什么填充这些文件夹？我应该从任务管理器服务所在的YARN集群节点复制hadoop配置文件夹吗？

Answer 1

1）当提交作业时，Spark需要知道它正在连接到什么。文件被解析，所需的配置被用于连接到Hadoop集群。注意，在文档中，他们说这是客户端配置（就在第一句中），这意味着您实际上不需要连接到文件中的集群的所有配置（要连接到使用最简配置的非安全Hadoop集群），您至少需要以下配置：

• fs.defaultfs（如果您打算从HDFS读取数据）
• dfs.nameservices
• yarn.resourceManager.hostname或yarn.resourceManager.address
• yarn.application.classpath
• （根据配置，可能需要其他选项）

通过在提交的作业代码中设置相同的设置，可以避免使用文件：

SparkConf sparkConfiguration = new SparkConf();
sparkConfiguration.set("spark.hadoop.fs.defaultFS", "...");
...

3）应使用以下内容填充配置文件夹：

• core-site.xml
• yarn-site.xml
• hdfs-site.xml
• mapred-site.xml

从服务器复制这些文件是一个最简单的开始方法。之后，您可以删除spark-submit不需要的或可能是安全敏感的一些配置。