Apache Spark调度器如何将文件拆分为任务？
在这里，我想知道三件事，关于如何将一个阶段拆分为任务？
>
在上面的例子中，任务数似乎是根据文件数创建的，对吗？
如果我在第1点上是正确的，那么如果目录名下只有3个文件，它会创建3个任务吗？
非常感谢，我感到困惑的是，这个阶段是如何被分割成任务的。
共有1个答案
您可以将整个进程的分区数（拆分）配置为作业的第二个参数，例如，如果我们需要3个分区，则用于parallelize：
a = sc.parallelize(myCollection, 3)
Spark会将工作分成相对均匀的大小(*)。大文件将被相应地分解--您可以通过以下方式查看实际大小：
rdd.partitions.size
因此，您不会在一个文件上长时间地工作单个工作人员。
-
问题内容： 我有以下代码： 我将有许多服务（如一项服务），并且我不想将它们全部放在同一个文件中。 我在Stack Overflow中读了另一个问题，我可能需要这样的其他文件：在该文件中写入所有服务，但是当我启动Node时会抛出该错误。 如何分隔代码？ 问题答案： 您可以在不同的文件（例如 test-routes.js）中 定义路由，如下所示： 现在在您的主文件中说出 server.js， 您可以像
-
问题内容： 我有一个几分钟的.wav文件，我想分割成10秒的另一个.wav文件。 到目前为止，这是我的python代码： 印刷产量： 我知道这是框架列表。我如何为该列表中的每个元素制作一个wav文件（第一个.wav文件将是？Python的模块尚不清楚如何使用框架创建.wav文件。 编辑：这是一个重复的问题，如何在python中将音频文件（wav格式）拼接为1秒拼接？ 但是，如果某人的答案不需要，我
-
问题内容： 我得到一个包含以下内容的文本文件（12 MB）： 有什么办法来分流到12个* .txt文件让说，，（......）？ 问题答案： 您可以使用linux bash核心实用程序 注意，或两者都OK，但大小不同。MB为1000 * 1000，M为1024 ^ 2 如果要按行分隔，可以使用参数。 更新 Kirill建议的另一种解决方案，您可以执行以下操作 请注意，是不是，有几个选项，比如，，，
-
问题内容： 我有从mongodb导出的json文件，如下所示： 大约有30000行，我想将每一行拆分成自己的文件。 （我正在尝试将我的数据转移到榻榻米群集上） 我尝试这样做： 但是我发现它似乎减少了行的负载，而当我期望30000个奇数时，运行此命令的输出仅给了我50个奇数文件！ 有没有一种逻辑方法可以使此操作不使用任何适合的方法删除任何数据？ 问题答案： 假设您不在乎确切的文件名，如果要将输入拆分
-
问题内容： 将Spring的配置拆分为多个xml文件的正确方法是什么？ 此刻我有 /WEB-INF/foo-servlet.xml /WEB-INF/foo-service.xml /WEB-INF/foo-persistence.xml 我有以下内容： 实际问题： 这种方法正确/最佳吗？ 我真的需要同时指定中的配置位置 和该板块？ 我需要记住什么才能能够引用中定义的？这与 指定有关吗？ 更新1：
-
问题内容： 我的体积太大了，很难找到正确的视图。 如何将其拆分为多个文件，然后导入？是否涉及速度损失？ 我可以这样吗？ 问题答案： 在Django中，所有内容都是Python模块（* .py）。你可以创建一个具有内部视图的文件夹，并且仍然可以导入视图，因为这也实现了Python模块。但是一个例子会更好。 你的原始图片可能如下所示： 使用以下文件夹/文件结构，它将起到相同的作用： viewsa.py