如何将Java ExecutorService线程池用于正在进行的/无限的任务？

Question

JavaExecutorService框架允许您使用托管线程池委托要执行的多个任务，以便一次可以执行N个任务X个任务，直到完成。

我的问题是。。。如果N是一个无限大的数字，或者太大以至于最初无法分配/分配/定义，该怎么办。

如何利用Java（ExecutorService）中的线程池概念来处理比合理提交更多的任务，而不会耗尽资源。

为了回答这个问题，假设每个任务都是自包含的，不依赖于任何其他任务，并且任务可以按任意顺序完成。

我最初尝试解决这个问题时涉及一次提供ExecutorService Y线程，但我很快意识到没有明显的方法来判断特定任务何时完成，因此提交要执行的新任务。

我知道我可以编写自己的“ExecutorService”，但我正试图利用Java框架已经提供的丰富资源。我通常属于“不要重新发明轮子”这一类，因为比我更伟大的头脑已经为我投资了。

提前感谢任何能够提供有关如何解决此类问题的见解的人。

Answer 1

使用java。util。同时发生的使用java的ThreadPoolExecutor。util。同时发生的ArrayBlockingQueue作为其工作队列。通过这种方式，尝试放置比队列大小阻止的任务更多的任务。

  BlockingQueue<Runnable> workQueue=new ArrayBlockingQueue<Runnable>(100);
  ThreadPoolExecutor tpe=new ThreadPoolExecutor(5, 10, 60, TimeUnit.SECONDS, workQueue);

  while (true) {
     tpe.execute(createNewTask());
  }

Answer 2

您可以使用CompletionService来完成此操作。您可以使用一个线程来为服务播下一系列任务，然后在任务完成后，您可以添加新的任务。

一个简单的例子：

final CompletionService service = new ExecutorCompletionService(Executors.newFixedThreadPool(5));
Runnable taskGenerator = new Runnable() {
    public void run() {
        // Seed the service
        for (int i = 0; i < 100; ++i) {
            service.submit(createNewTask());
        }
        // As tasks complete create new ones
        while (true) {
            Future<Something> result = service.take();
            processResult(result.get());
            service.submit(createNewTask());
        }
    }
};
new Thread(taskGenerator).start();

这将使用一个线程池执行器（ThreadPoolExecutor）和5个线程来处理任务，并使用一个手动滚动的生产者/消费者线程来生成任务和处理结果。

很明显，您会想要比更智能的东西，而（true），您需要对processResult和createNewTask进行合理的实现，并且这假设任务执行比生成它们或处理结果慢得多。

希望这能让你走上正轨。