Spark UI中的任务数
我是火花的新手。我有几个关于Spark Web UI的问题
>
我已经看到Spark可以为同一个应用程序创建多个作业。它创造就业岗位的基础是什么？
我知道 Spark 围绕随机播放边界为单个作业创建多个阶段
。另外，我知道每个分区有1个任务
。但是，我已经看到，特定作业的特定阶段（例如阶段1）创建的任务数量少于默认的随机分区值（例如，仅完成2/2）。我还看到，同一个作业的下一阶段（第2阶段）创建了1500个任务（例如，已完成1500/1500个任务），这比
默认的随机分区值还要多。
那么，Spark如何确定它应该为任何特定阶段创建多少个任务来执行呢？
有没有人能帮我理解以上。
共有1个答案
一个时刻的最大任务数取决于你的核心和执行数，不同的阶段有不同的任务数
-
我在用Gradle。我有两个任务：“A”和“B”。我想让任务“A”调用任务“B”。我怎么能这么做？ 是否可以简单地从现有任务中调用另一个任务？
-
1.）在预定义数据库2中运行liquibase变更集。）对数据库3运行多个测试。）回滚使用前一个变更集所做的所有更改 每次测试时，我都希望数据库处于“干净”状态。它应该只有我期望的变化，没有其他。liquibase使用Gradle插件进行设置，并应用/更新变更集。但是，我不想手动调用该命令。这将是需要在持续集成中运行的东西，所以我需要编写脚本，让配置项调用一个任务，然后按顺序运行每个任务，直到结束
-
我有一个带有复选框的列表视图。对于每个复选框(大约有3个)，它都有一个特定的AsyncTask。 我从来不知道用户选择了什么复选框，所以我不能把AlertDialog放在异步任务的末尾，因为我从来不知道用户是只选择了一个复选框，还是两个或三个。 因为AsyncTask是分步执行的(只有当第一个Async任务完成时，第二个Async任务才开始)，所以我考虑在所有任务的末尾添加一个带有AlertDia
-
问题内容： 我有一些我想在JS中做的资源密集型任务。对于这个问题，让我们假设它们是一些繁重的计算，而不是系统访问。现在，我想同时运行任务A，B和C，并在完成后执行一些功能D。 该异步库为此提供了一个很好的脚手架： 如果我正在做的只是计算，那么它将仍然同步运行（除非库将任务本身放在不同的线程上，我希望情况并非如此）。我如何使它实际上是平行的？异步代码通常不阻止调用者的事情是什么（使用NodeJS时）
-
假设我有几个任务要在Java中并行运行。每个任务要么返回成功，要么返回失败。每个任务都有一个相关的截止日期。如果任务未在截止日期前完成，它将被中断（所有任务都可中断）并返回失败。 如果其中一个任务失败（即返回失败），我们将中断所有仍在运行的其他任务。 我们应该等到所有任务都完成，最后如果所有任务都返回成功，则返回成功；如果至少有一个任务返回失败，则返回失败。 你将如何实施它？我将使用util。同时
-
我不太理解参数。在我看来，“任务”对应于执行器中的“线程”或“进程”。假设我将“spark.task.cpus”设置为2。 > 线程如何同时使用两个CPU？它不会需要锁并导致同步问题吗？ 我正在查看部署/执行器/Executor.scala中的函数，在这里我看不到任何“每个任务的cpu数量”的概念。那么Spark最终在哪里/如何在独立模式下为任务分配多个cpu呢？