如何在Apache Spark中实现任务的动态负载平衡

Question

考虑以下Java伪代码：

BlockingQueue<Task> q = new LinkedBlockingQueue<Task>();
q.push(myInitialTask);
...
//On each thread:
while (!queue.isEmpty()) {
    Task nextTask = queue.take();
    List<Task> newTasks = process_task_and_split_to_sub_tasks(nextTask);
    queue.pushAll(newTasks);
} 

上面的Java代码将使我的100个线程都处于繁忙状态，假设方法'process_task_and_split_to_sub_tasks()'可以将任何大任务拆分为许多较小的任务。

有没有一种方法可以在Spark中实现同样的功能，可以与其他工具相结合？

null

在这种情况下，动态负载平衡是这样的：已经收到以'a'开头的行的映射器可能想进一步拆分它的行--到以'ab'、'ac'、'ad'、······然后将它们发送到其他10台机器上，这些机器可能会决定进一步将它们的工作分解为更多的任务。
我知道标准的Apache Spark没有现成的答案，但我想知道是否有一种方法可以实现这一点。

Kafka（即队列，如上）+Spark Streaming看起来很有希望，你认为我能通过使用这些工具以相对简单的方式实现动态负载平衡吗？你能推荐其他工具吗？

Answer 1

现在假设我有100台机器（但只有10个字母）。接收到以“A”开头的行的映射器可能希望进一步拆分它的行--拆分到以“AB”、“AC”、“AD”等开头的行，然后将它们发送到其他10台机器。

这不是Spark的工作原理。“mapper”（任务）大多不了解所有分布式上下文。在这个级别上，没有对sparkcontext的访问，我们更多的是rdds，只是作为本地的iterator输入并在其上执行代码。它无法启动，也无法创建新任务。

同时，你的问题定义是人为的。为了找到频繁的模式，您必须聚合数据，因此需要洗牌。在这一点上，对应于给定模式的记录必须被洗牌到同一台机器上。确保数据被正确地分布是partitioner的工作，这里真的没有“拆分”的位置。