一个执行器中有多少并发任务以及Spark如何处理一个执行器中任务之间的多线程？
在Spark中，一次并行执行多少个任务？在Spark中如何将阶段划分为任务？DAG在RDD中是如何工作的？
但我没有找到明确的结论。
-
null
-
null
如果这是真的，那么Spark在一个执行器中的行为不是有点不确定吗（单线程v.s.多线程）？
注意，从驱动程序运到执行程序的代码可能没有考虑使用synchronized关键字的自动性问题。
Spark对此是如何处理的？
共有1个答案
我认为你是对的，这取决于你的执行器号和内核，一个分区创建一个任务运行在一个内核上。
-
主要内容：1 如何使用多个线程执行一个任务,2 如何使用多个线程执行多个任务1 如何使用多个线程执行一个任务 如果需要由多个线程执行单个任务，则只有一个run()方法，例如： 1.1 多个线程执行一个任务示例1 输出结果为： 1.2 多个线程执行一个任务示例2 输出结果为： 注意：每个线程在单独的堆栈中运行。 2 如何使用多个线程执行多个任务 如果必须通过多个线程执行多个任务，请使用多个run() 方法： 2.1 多个线程执行多个任务示例1 输出结果为： 2.2 多个线程
-
我有一个spark作业，它从数据库中读取数据，执行过滤、联合、2连接，最后将结果写回数据库。 然而，最后一个阶段仅在50个执行器中的一个执行器上运行一个任务。我试图增加分区的数量，使用哈希分区，但没有成功。 经过几个小时的谷歌搜索，似乎我的数据可能会但我不知道如何解决它。 有什么建议吗？ 规格: < li >独立群集 < li>120核心 < li>400G内存 遗嘱 执行 人： 30个执行器（4
-
我有Spark 2.1.0运行在一个有N个从节点的集群上。每个节点有16个内核（8个内核/cpu和2个cpu）和1个GPU。我想使用map进程启动一个GPU内核。由于每个节点只有1个GPU，我需要确保两个执行器不在同一个节点上（同时）尝试使用GPU，并且两个任务不会同时提交给同一个执行器。 如何强制 Spark 每个节点有一个执行程序？ 我尝试了以下方法: -设置:< code > $ SPARK
-
我有一个类，它基本上会做两次相同的步骤。听起来像是一个在哪里多线程处理程序的完美例子。我的问题是，如果我只需要两个线程就可以做到这一点。以下是一般情况 我已经完成了第一部分——构建对象——的工作。我现在的问题是- 如何让主线程等待两个线程完成其第一部分？也许main会在两个对象上执行等待，然后在线程notifyAll之后，它们会在主线程上执行等待？但是线程如何抓住主线程呢？也许用这个 我怎样才能在
-
我正在从事一个spring boot项目，以自动化与gradle的集成测试。我最近开始在一家新企业工作，我的同事们按如下方式运行集成测试：在构建中。gradle文件有一个集成测试任务 启动任务后，应用程序开始在指定端口运行，然后打开postman，导入集合并运行测试。 我的工作是找到一种方法来跳过额外的点击，即自动运行邮递员集合。第一个想法是使用postman-run gradle插件，但由于企业
-
问题内容： 我有以下使用类的课程。所以我想做的是，在运行cp1实例处理方法的同时，我要并行运行。 但是，我要按顺序cp1，所以我要它运行并完成，如果cp2没有完成或失败，那就很好。如果确实失败，我想加入结果。该示例中未返回任何内容，但我想返回结果。 为此，应该使用TaskExecutor吗？还是线程？ 我只希望cp2与cp1并行运行。或者，如果我添加更多内容，例如说cp3，我希望它也可以与cp1并