如何在Apache Spark中对一个压缩文件进行重新分区？
我有数千个压缩文件，每个压缩文件的大小为 2GB，位于 HDFS 中。我正在使用火花来处理这些文件。我正在使用Spark textFile（）方法从HDFS加载文件。我的问题是如何重新分区数据，以便我可以并行处理每个文件。目前，每个.gz文件都在单个任务中处理。因此，如果我处理 1000 个文件，则只执行 1000 个任务。我知道，压缩文件是不可拆分的。但是，我可以使用其他方法来更快地运行我的作业吗？
共有1个答案
加载文件后可以使用 rdd.repartition（#partitions）。这会产生相关的随机播放成本，因此您需要评估并行化的性能提升是否涵盖此初始随机成本。
另一种方法是在初始分区上执行任何转换（映射、过滤…），并使用管道中已经存在的任何混洗阶段重新对RDD进行分区。例如
rdd.map().filter().flatMap().sortBy(f, numPartitions=new#ofpartitions)
-
问题内容： 任何人都可以向我展示在我一直在搜索的Java中压缩和解压缩tar.gzip文件的正确方法，但是我能找到的最多是zip或gzip（单独）。 问题答案： 我最喜欢的是plexus-archiver-请参阅GitHub上的资源。 另一个选项是Apache commons- compress- （请参阅mvnrepository）。 使用plexus-utils，用于取消存档的代码如下所示：
-
我有多个zip文件在一个文件夹和另一个zip文件存在于每一个这些zip文件夹。我想解压第一个和第二个zip文件夹，并创建它们自己的目录。 这是结构 如上所示，在中，我们有多个zip文件，在每个zip文件中，都存在另一个zip文件。我想解压缩，，和到新的文件夹中。我想使用与父zip文件夹相同的名称来放置每个结果。我尝试了以下答案，但这只解压缩第一个文件夹。 顺便说一句，我在Jenkins管道中运行这
-
问题内容： 我是Go的新手，无法弄清楚如何使用该软件包对我有利。基本上，我只想写一些东西到文件中，将其gzip压缩，然后通过另一个脚本直接从压缩格式读取。如果有人可以给我一个有关如何执行此操作的示例，我将不胜感激。 问题答案： 所有压缩包都实现相同的接口。您将使用以下方式进行压缩： 并解压缩：
-
当我向Kafka主题发送消息时，我可能会收到一条比其他消息大得多的消息。 因此需要在单消息级进行压缩。根据https://cwiki.apache.org/confluence/display/kafka/compression, 一组消息可以被压缩并表示为一个压缩消息。 同样,根据https://github.com/apache/kafka/blob/0.10.1/clients/src/ma
-
问题内容： 用Python的方式对压缩列表进行排序是什么？ 代码： 上面的代码显示 [[‘d’，3），（’a’，2），（’t’，1），（’x’，0）] 我想排序 压缩 的价值观。因此，理想情况下，它最终看起来像这样 [[‘x’，0），（’t’，1），（’a’，2），（’d’，3）] 。 问题答案：
-
问题内容： 我们如何分别压缩每个文件？ 我不想将所有文件都放在一个大的tar中。 问题答案： 您可以使用 注意： 这将分别压缩每个文件并 删除 原始文件。 使用（）选项保留原始文件。 如果您由于外壳程序的限制而拥有大量文件，则可能无法使用 要并行运行 gzip 。