我应该什么时候重新分配RDD？

Question

我知道我可以重新分区一个RDD来增加它的分区，并使用coalesce来减少它的分区。关于这一点，我有两个问题，在阅读了不同的资源后，我无法完全理解。

当生成RDD时，Spark将使用合理的默认值（每个块1个分区，最初的版本是64MB，现在是128MB）。但是我也读到建议使用2到3倍于运行作业的内核数量。所以问题来了：

>

一个给定的文件应该使用多少个分区？例如，假设我有一个10GB。拼花文件，3个执行器，每个执行器有2个内核和3gb内存。我应该重新分区吗？我应该使用多少分区？做出选择的更好方式是什么？

如果没有提供分区，所有数据类型（即. txt，. parket等）是否默认重新分区？

Answer 1

Spark可以为RDD的每个分区运行单个并发任务，最多可达集群中的内核总数。

例如：

val rdd= sc.textFile ("file.txt", 5)

上面的代码行将创建一个RDD，名为文本文件，有5个分区。

假设您有一个具有4个内核的集群，并且假设每个分区需要处理5分钟。如果上面的RDD有5个分区，4个分区进程将并行运行，因为有4个内核，当4个内核中的一个空闲时，第5个分区进程将在5分钟后处理。

整个处理过程将在10分钟内完成，在第5次分区过程中，资源（剩余的3个内核）将保持空闲。

决定RDD中分区数量的最佳方法是使分区数量等于集群中的核心数量，这样所有分区都将并行处理，资源将以最佳方式利用。

问题：所有数据类型（例如.txt、.parquet等）都是吗如果没有提供分区，默认情况下是否重新分区？

每个rdd将默认没有分区。要检查，您可以在rdd创建后立即使用rdd.partitions.length。

为了以最佳方式使用现有的集群资源并加快速度，我们必须考虑重新分区，以确保所有核心都被利用，并且所有分区都有足够数量的均匀分布的记录。

为了更好的理解，也看看https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-rdd-partitions.html

（numOf执行器*核数）*复制因子（可能是2倍或3倍以上）