Spark执行器、任务和分区
共有1个答案
- 任务数由rdd/dataframe的分区数给出
- 执行器可以并行处理的任务数由其核心数给出，除非
spark.task.cpus配置为1以外的其他值（这是默认值）
因此，将任务视为必须处理的一些（独立的）工作块。它们肯定可以并行运行
因此，如果您有1000个分区和5个执行器，每个执行器有4个核心，那么通常会有20个任务并行运行
-
我的集群配置如下：-7个节点，每个节点有32个核心和252 GB内存。 纱线配置如下：- map reduce配置如下：- null 在这种情况下，对于纱线调度程序，执行器内存+384最大不能超过10GB。在本例中，9856M+384 MB=10GB，因此它工作正常。现在，一旦spark shell启动，执行程序的总数是124个，而不是请求的175个。每个执行器的spark shell启动日志或s
-
我无法找到必要的信息，无论是在文档中还是在这里已经存在的问题中，这就是为什么我自己创建了一个（我还不能在类似的帖子下提问）。 我需要知道的是Spring任务执行器和调度器之间的关系。我当前的配置如下所示： 我不确定的是它是如何工作的。“谁”运行我的任务？是调度器，因为任务是和他一起安排的吗？或者调度器只是创建它们，放在队列中，由执行者运行它们？ 如果没有，运行的是scheduler，我必须在特定类
-
我正在开发一个Spring集成应用程序。 我有一个入站通道适配器，用于读取目录，然后是一个拆分器，用于将文件拆分为行，最后是一个udp出站通道适配器，用于发送行 我想每秒钟发一封信 我可以通过定义自己的拆分器并在每次读取一行时等待1s来做到这一点，但我想知道是否可以在xml文件中尽可能简单地完成它。 提前谢谢
-
我有一个spark作业，它从数据库中读取数据，执行过滤、联合、2连接，最后将结果写回数据库。 然而，最后一个阶段仅在50个执行器中的一个执行器上运行一个任务。我试图增加分区的数量，使用哈希分区，但没有成功。 经过几个小时的谷歌搜索，似乎我的数据可能会但我不知道如何解决它。 有什么建议吗？ 规格: < li >独立群集 < li>120核心 < li>400G内存 遗嘱 执行 人： 30个执行器（4
-
我有Spark 2.1.0运行在一个有N个从节点的集群上。每个节点有16个内核（8个内核/cpu和2个cpu）和1个GPU。我想使用map进程启动一个GPU内核。由于每个节点只有1个GPU，我需要确保两个执行器不在同一个节点上（同时）尝试使用GPU，并且两个任务不会同时提交给同一个执行器。 如何强制 Spark 每个节点有一个执行程序？ 我尝试了以下方法: -设置:< code > $ SPARK
-
在上下文中没有Executor bean的情况下，Spring Boot会自动配置一个具有合理默认值的ThreadPoolTaskExecutor，这些默认值可以自动与异步任务执行（@EnableAsync）和Spring MVC异步请求处理相关联。 如果您在上下文中定义了自定义Executor，则常规任务执行（即@EnableAsync）将透明地使用它，但不会配置Spring MVC支持，因为它