如果文件有4个分区，执行的任务数是多少？[副本]
我有一个560 Mb的csv文件，我已经从HDFS读取了csv。当我使用df.rdd.partitions.size检查文件的分区数时，它显示有4个分区。如果我刚刚使用df.count()检查了总行数，则提交的作业包含2个阶段，所有阶段包含5个任务。
我需要理解如何阶段的总数是2和所有阶段的任务总数是5。我已经了解到每个分区有1个任务，所以应该是4个。
提前道谢。
共有1个答案
这是因为count需要附加阶段。第一阶段用4个分区(=4个任务）读取您的输入文件，每个分区进行本地行计数。第二阶段只有一个任务，读取所有以前的计数（4个文件）并将它们相加。因此，整个作业分为两个阶段，共5个任务。
-
在调试和故障处理的时候，我们通常有必要知道 RDD 有多少个分区。这里有几个方法可以找到这些信息： 使用 UI 查看在分区上执行的任务数 当 stage 执行的时候，你可以在 Spark UI 上看到这个 stage 上的分区数。 下面的例子中的简单任务在 4 个分区上创建了共 100 个元素的 RDD ，然后在这些元素被收集到 driver 之前分发一个 map 任务： scala> val s
-
在Spark中，一次并行执行多少个任务？在Spark中如何将阶段划分为任务？DAG在RDD中是如何工作的？ 但我没有找到明确的结论。 null null 如果这是真的，那么Spark在一个执行器中的行为不是有点不确定吗（单线程v.s.多线程）？ 注意，从驱动程序运到执行程序的代码可能没有考虑使用synchronized关键字的自动性问题。 Spark对此是如何处理的？
-
主要内容：1 如何使用多个线程执行一个任务,2 如何使用多个线程执行多个任务1 如何使用多个线程执行一个任务 如果需要由多个线程执行单个任务，则只有一个run()方法，例如： 1.1 多个线程执行一个任务示例1 输出结果为： 1.2 多个线程执行一个任务示例2 输出结果为： 注意：每个线程在单独的堆栈中运行。 2 如何使用多个线程执行多个任务 如果必须通过多个线程执行多个任务，请使用多个run() 方法： 2.1 多个线程执行多个任务示例1 输出结果为： 2.2 多个线程
-
我正在使用Eclipse的STS插件创建gradle多项目。我以为我在读完教程后得到了基本的知识，但我无法再现所显示的行为。添加时 对于父项目的build.gradle，我将假设每个项目执行的任务'hello‘。为子项目实际进行了2次，但结果只是： 我的项目树看起来或多或少是这样的：
-
DynamoDB有备份和恢复功能。文档说明，当您恢复表时，读写容量将与备份时的源表保持相同。 目标表设置了与源表相同的已配置读容量单位和写容量单位，如请求备份时所记录的。 但在这种情况下，目标表的分区总数是多少？原始源表可以有许多具有较小读写容量的分区。这将如何反映？