如何将外部配置文件传递给pyspark(Spark2.x)程序？
当我运行pyspark program interactive shell时，可以获取pyspark脚本中的配置文件(config.ini)，但当我试图使用Spark submit命令和主纱运行相同的脚本时，并且集群部署模式是集群，因为配置文件不存在，所以它给了我错误，我检查了纱日志，可以看到相同的，下面是运行pyspark作业的命令。
spark2-submit --master yarn --deploy-mode cluster test.py /home/sys_user/ask/conf/config.ini
共有1个答案
在spark2-sumbmit命令中，有一个参数提供了properties-file，您可以使用该参数在spark-submit命令中获得该属性文件。
例如，spark2-submit--主纱--部署模式集群--属性-file$conf_file_name pyspark_script.py
-
问题内容： 我是webpack的新手，几乎可以解决所有构建部分的问题，但是现在的问题是，我想将环境变量从.env文件传递到webpack config，以便可以通过插件将这些变量传递给我的构建文件。 目前，我能够将环境变量直接从webpack传递到我的构建中。请查看下面我在webpack中使用的代码。 我的构建脚本是 问题答案： 您可以为此目的使用包装 参考：https : //www.npmjs
-
问题内容： 我已经使用sed编写了一个小脚本来对此进行转换： 变成这样的csv文件格式： 我现在想将每个数字除以1.000.000，这样它们就不代表µV，而是代表V和W而不是µW，这样一眼便可以轻松理解它们。当然，一旦我在libre office calc中打开此csv之后，便可以手动执行此操作，但是我想使其自动化。 所以我发现，我可以在sed之间调用外部程序，如下所示： 这样我就可以通过以下方式
-
我正在开发一个Spring Boot应用程序，我必须让它作为一个war在我们的Weblogic 12c服务器上运行。 我试图找到一种方法将默认的Spring活动配置文件（此处和此处的信息）传递给应用程序，而不必在机器本身设置环境变量。如果可能的话，我希望能够使用Weblogic管理控制台指定此配置文件。 我尝试使用“Environment/Servers/MyServer/Server Start
-
问题内容： 我正在尝试编写一个bash脚本，该脚本允许用户使用通配符传递目录路径。 例如， 在此目录中执行时 将输出： 现在的样子，它输出： 的内容： 问题答案： 父外壳（一个调用）为您扩展了外壳。 在脚本中，您需要使用： 双引号确保正确处理文件名中的多个空格等。 可能令人困惑的附录 如果您确实确定要扩展该脚本，则必须确保将其传递给脚本（如其他答案中所述，用引号引起来），然后确保在正确的位置将其扩
-
问题内容： 在Tkinter中是否可以将事件直接传递给父窗口小部件？ 我有一个画布，该画布被其他画布的网格覆盖（是复数吗？），我使用方法添加了该画布。我希望某些事件（例如鼠标释放事件）由父画布处理。 如果仅将事件绑定到父方法，则和坐标相对于捕获事件的子画布而言。 问题答案： Tkinter不会将事件传递给父窗口小部件。但是，您可以通过使用绑定标签（或“ bindtags”）来模拟效果。 我能给出的
-
我是Flutter和Dart的新手。我有一些来自基于api json的数据，数据的变量称为。我从官方flutter留档中获取了这个示例代码，我希望能够使用变量并替换字符串文本，如下所示： 但是，我在第行标题中遇到了一个错误：const Text（data[index][“name]），，错误是类型常量创建的参数必须是常量表达式。此错误来自Android Studio本身（版本3.2） 但当我使用这