addfile vs spark-submit--文件
共有1个答案
这取决于您的Spark应用程序是在客户端还是集群模式下运行。
在客户端模式下，驱动程序（应用程序主程序）在本地运行，可以访问项目中的这些文件，因为它们在本地文件系统中可用。AddFile应该能找到本地文件，并像预期的那样工作。
如果您的应用程序在集群模式下运行。申请通过Spark-Submit提交。这意味着您的整个应用程序被转移到Spark master或Yarn，它在集群中的特定节点和独立环境中启动驱动程序（应用程序master）。此环境无法访问您的本地项目目录。因此，所有必要的文件也必须转移。这可以通过--files选项实现。同样的概念也适用于jar文件（Spark应用程序的依赖项）。在集群模式下，它们需要添加--jars选项，以便在应用程序主程序的类路径中可用。如果使用PySpark，则有一个--py-files选项。
-
我一直在运行一些测试spark scala代码，使用的Spark-Shell可能是一种很糟糕的方法： 这将在spark上执行我的代码，完成后弹出到shell中。 现在我正试图在集群上运行它，我想我需要使用spark-submit，我认为应该是：
-
freshmeat-submit 是一个用来向 freshmeat 网站提交软件版本信息的 Python 开发包。使用的是 freshmeat 提供的 XML-RPC 接口。
-
Submits forms with XHR. Sends all elements with name-attributes in form to form's action using form's method. $('#my-form').ajaxSubmit('#my-div'); // submits #my-form using XHR and updates #my-div with the response
-
scala代码是： 打包以后的jar中有stopwords.dic这个文件 路径也是对的 但是还是报错了： Caused by: java.io.FileNotFoundException: file:/Users/laiyinan/Desktop/cc_core/out/artifacts/cc/cc_core.jar!/stopwords.dic (No such file or direct
-
我使用以下html表单代码允许用户选择多个文件进行上传。 uploadFiles.php包含以下代码。 出于某种原因，isset（$_POST['提交']）总是返回false。我得到以下输出
-
问题内容： 假设我有一个表单（看起来像按钮，并且像按钮一样交互），该表单基于生成一些数据（好吧，服务器根据表单参数生成数据，但是对于用户，按钮来做:)）在表格中的参数上。 当我使用时，整个过程挂起（它实际上冻结了，没有异常或错误）。 从Selenium网站： 因此，WebDriver有一种方法。从逻辑上讲，在按钮上使用或有什么区别吗？ 问题答案： 那里的功能使生活更轻松。您可以在表单标签内的任何元