您如何确定Spark应用程序的随机分区？

Question

我是新来的火花，所以我按照这个惊人的教程从sparkbyexamples.com和阅读我发现这一节：

洗牌分区大小

根据您的数据集大小，大量内核和内存PySpark洗牌可能会对您的工作有利或有害。当您处理的数据量较少时，通常应该减少无序分区，否则最终会得到许多分区文件，每个分区中的记录数较少。这会导致运行许多任务时需要处理的数据较少。

另一方面，当您有太多数据并且分区数量较少时，会导致运行时间较长的任务较少，有时您还可能会遇到内存溢出错误。

获得正确的随机分区大小总是很棘手的，并且需要多次运行不同的值才能实现优化的数量。当您在PySpark作业上遇到性能问题时，这是要寻找的关键属性之一。

有人能帮我理解你是如何决定你的工作需要多少个随机分区的吗？

Answer 1

正如你所说，这很棘手，但这是我的策略：

如果使用“静态分配”，意味着告诉Spark要为作业分配多少执行器，那么很容易，分区的数量可以是执行器*每个执行器的核心*系数<代码>系数=1表示每个执行器将处理1个作业，系数=2表示每个执行器将处理2个作业，依此类推

如果您使用的是“动态分配”，那么它就更复杂了。您可以在此处阅读详细描述https://databricks.com/blog/2021/03/17/advertising-fraud-detection-at-scale-at-t-mobile.html.一般的想法是，您需要回答许多问题，如数据的大小（以GB计有多大）、数据的结构如何（有多少文件、多少文件夹、多少行等）、您将如何读取数据（从hdfs、hive或jdbc）、您有多少资源（核心、执行器、内存），…然后，您反复运行和基准测试，以找到“刚好”适合您的环境的最佳点。

更新#1：

那么一般的行业惯例是什么，公司会简单地使用第一策略并分配更多的硬件还是他们会使用动态分配？

通常，如果您有一个内部Hadoop环境，那么可以在静态（默认模式）和动态分配（高级模式）之间进行选择。此外，我经常从动态开始，因为我不知道数据及其转换有多大，所以请坚持使用动态，让我可以灵活地扩展工作，而不必过多考虑Spark配置。但如果愿意，也可以从静态开始，没有任何东西阻止您这样做。

最后，当涉及到productionize过程时，您还可以在静态（非常稳定但消耗更多资源）和动态（不太稳定，即有时由于资源分配而失败，但节省资源）之间进行选择。

最后，大多数Hadoop云解决方案（如数据库）默认带有动态分配，成本更低。