Spark重新分区创建的分区超过128 MB
假设我有一个1.2 GB的文件，那么考虑到128 MB的块大小，它将创建10个分区。现在，如果我将其重新分区(或合并)为4个分区，这意味着每个分区肯定会超过128 MB。在这种情况下，每个分区必须容纳320 MB的数据，但块大小是128 MB。我有点糊涂了。这怎么可能？我们如何创建一个大于块大小的分区？
共有1个答案
块具有固定大小，是保存在群集或计算机上特定位置的物理数据块。分区只是数据的逻辑划分，独立于物理位置。
有关更详细的解释，请参阅我对“文件是否被划分为块以存储在HDFS中？”的回答
-
这是将Spark dataframe保存为Hive中的动态分区表的后续操作。我试图在答案中使用建议，但无法在Spark 1.6.1中使用 任何推动这一进程的帮助都是感激的。 编辑：还创建了SPARK-14927
-
我有以下制表符分隔的示例数据集： 我正在对此数据运行一些转换，最终数据位于spark dataset中。之后，我用“period”分区将该数据集写入s3。因为我也希望在s3文件中使用period,所以我正在从from period列创建另一列“datasetperiod”。 我的scala函数来保存TSV数据集。 在S3上保存数据集的Scala代码。为S3上的分区添加新列datasetPeriod
-
我在这里浏览了文档:https://spark . Apache . org/docs/latest/API/python/py spark . SQL . html 它说： 重新分区：生成的DataFrame是哈希分区的 对于repartitionByRange：结果DataFrame是范围分区的 而且之前的一个问题也提到了。然而，我仍然不明白它们到底有什么不同，当选择一个而不是另一个时会有什么
-
根据Spark 1.6.3的文档，应该保留结果数据表中的分区数： 返回由给定分区表达式分区的新DataFrame，保留现有的分区数 Edit：这个问题并不涉及在Apache Spark中删除空DataFrame分区的问题（例如，如何在不产生空分区的情况下沿列重新分区），而是为什么文档所说的内容与我在示例中观察到的内容不同
-
我创建一个数据文件，导入一个大约8MB的csv文件，如下所示： 最后，我打印dataframe的分区数： 答案是2。
-
我有一个大约 100GB 的数据源，我正在尝试使用日期列对其进行分区。 为了避免分区内出现小块，我添加了一个重新分区(5 ),使每个分区内最多有5个文件: 我的问题是，在我分配的30个执行器中，只有5个在实际运行。最后我得到了我想要的东西（每个分区内有5个文件），但由于只有5个执行器在运行，所以执行时间非常长。 你有什么建议可以让我做得更快吗？