如何计算spark中的分区数和并发任务数
我对Spark相当陌生，所以也许我只是错过或误解了一些基本的东西。如有任何帮助，不胜感激。
共有1个答案
这是正确的行为。每个“核心”一次可以执行一个任务，每个任务对应一个分区。如果群集只有64个核心，那么一次最多只能运行64个任务。
您可以在每个节点上运行多个workers来获得更多的执行器。这会让你在集群中有更多的核心。但是无论您有多个内核，每个内核一次只能运行一个任务。
您可以在下面的线程中看到更多的细节，Spark如何将切片与任务/执行者/工作者并行？
-
Spark中的任务数由阶段开始时的RDD分区总数决定。例如，当Spark应用程序从HDFS读取数据时，Hadoop RDD的分区方法继承自MapReduce中的，它受HDFS块的大小、的值和压缩方法等的影响。 截图中的任务花了7，7，4秒，我想让它们平衡。另外，阶段被分成3个任务，有什么方法可以指定Spark的分区/任务数吗？
-
假设我正在从S3文件夹中读取100个文件。每个文件的大小为10 MB。当我执行＜code＞df＝spark.read时。parquet（s3路径），文件（或更确切地说分区）如何在任务之间分布？E、 g.在这种情况下，＜code＞df＜/code＞将有100个分区，如果spark有10个任务正在运行以将该文件夹的内容读取到数据帧中，那么这些分区是如何分配给这10个任务的？它是以循环方式进行的，还是每
-
在Master Hazelcast电子书“17.4.1.分区感知操作”下，它指出： 要执行分区感知操作，需要创建操作线程数组。 单个操作线程对多个分区执行操作； 每个分区只属于1个操作线程。 忽略备份和近缓存，当我创建一个IMap实例时，这是否意味着我只能有一个并发的put/get操作在整个集群的每个map分区上执行？进一步说，如果我附加了一个MapStore，这是否意味着我只能对我的后端数据库运
-
所以，我知道一般来说，在以下情况下应该使用 由于或其他可能导致减少原始数据集（RDD、DF）的操作，分区数量减少。对于在过滤大型数据集后更有效地运行操作很有用。 我也知道它比< code>repartition更便宜，因为它通过仅在必要时移动数据来减少洗牌。我的问题是如何定义< code>coalesce采用的参数(< code > idealpartionno )。我正在做一个项目，这个项目是另
-
我需要一些帮助来了解spark如何决定分区的数量，以及它们在executors中是如何处理的，我很抱歉这个问题，因为我知道这是一个重复的问题，但即使在阅读了许多文章后，我仍然不能理解我正在放上一个我目前正在工作的真实生活用例，以及我的Spark提交配置和集群配置。 我的硬件配置： < code>3节点计算机，总Vcores=30，总内存=320 GB。 我正在使用spark dataframe J