使用Java处理HTTP呼叫的大文件

Question

我有一个包含数百万行的文件，需要处理。文件的每一行都将导致HTTP调用。我正在尝试找出解决问题的最佳方法。

我显然可以读取文件并按顺序进行调用，但是速度会非常慢。我想并行化这些调用，但是不确定是否应该将整个文件读入内存（不是我的忠实拥护者）还是尝试并行化文件的读取（我想我不确定是否有道理）。

只是在这里寻找一些解决问题的最佳方法的想法。如果有一个类似的现有框架或库，我也很乐意使用它。

谢谢。

Answer 1

我想并行化调用，但是不确定是否应该将整个文件读入内存

您应该使用ExecutorService与bounded的BlockingQueue。在读入百万行时，您将作业提交到线程池，直到作业BlockingQueue满为止。这样，您将能够同时运行100个（或最佳数量）的HTTP请求，而无需事先读取文件的所有行。

RejectedExecutionHandler如果队列已满，您将需要设置一个阻止的对象。这比调用方运行处理程序更好。

BlockingQueue<Runnable> queue = new ArrayBlockingQueue<Runnable>(100);
// NOTE: you want the min and max thread numbers here to be the same value
ThreadPoolExecutor threadPool =
    new ThreadPoolExecutor(nThreads, nThreads, 0L, TimeUnit.MILLISECONDS, queue);
// we need our RejectedExecutionHandler to block if the queue is full
threadPool.setRejectedExecutionHandler(new RejectedExecutionHandler() {
       @Override
       public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
           try {
                // this will block the producer until there's room in the queue
                executor.getQueue().put(r);
           } catch (InterruptedException e) {
                throw new RejectedExecutionException(
                   "Unexpected InterruptedException", e);
           }
    }
});

// now read in the urls
while ((String url = urlReader.readLine()) != null) {
    // submit them to the thread-pool.  this may block.
    threadPool.submit(new DownloadUrlRunnable(url));
}
// after we submit we have to shutdown the pool
threadPool.shutdown();
// wait for them to complete
threadPool.awaitTermination(Long.MAX_VALUE, TimeUnit.MILLISECONDS);

...
private class DownloadUrlRunnable implements Runnable {
    private final String url;
    public DownloadUrlRunnable(String url) {
       this.url = url;
    }
    public void run() {
       // download the URL
    }
}