在循环中为批次处理作业重新创建ExecutorService

Question

示例：我需要处理数百万条记录，我想并行处理它们以加快处理速度。为此，我想在Executor服务中使用线程池。每项任务最多需要几秒钟。为了避免在一个线程池中为每条记录创建数百万个线程，这会导致内存问题，我决定分批处理记录。

我想为每个批使用一个新的线程池。我让Executor Service等待批处理任务完成，然后关闭Executor Service并创建一个新的Executor Service来处理下一批。我会这样做：

/*...................*/
int count = 1;
ExecutorService executor = buildExecutor(CORE_THREADS, MAX_THREADS);
            while (/* there is a record */) {
                executor.execute(new ProcessRecordThread(record));
                count++;
                if (count % BATCH_SIZE == 0) {
                    executor.shutdown();
                    executor.awaitTermination(Long.MAX_VALUE, TimeUnit.NANOSECONDS);
                    executor = buildExecutor(CORE_THREADS, MAX_THREADS);
                }
            }
 /*................*/

创建Executor服务的方法

private static ExecutorService buildExecutor(int corePoolSize, int maximumPoolSize) {
            return new ThreadPoolExecutor(corePoolSize, maximumPoolSize, 0L,
                    TimeUnit.MILLISECONDS,
                    new LinkedBlockingQueue(),
                    Executors.defaultThreadFactory());
        }

我知道创建线程池会给处理增加一些开销。在循环中创建executor服务被认为是不好的做法。我有没有应该注意的权衡？

有没有办法通过使用一个线程池来实现这种行为？

Answer 1

Build类有一个静态公共数据源，如单例模式中的C3P0（开源），用于管理连接。

配置c3p0。maxPoolSize=x，运行x个线程从数据源获取连接，然后执行sql。

public class C3P0Pool {
    private static ComboPooledDataSource CPDS = new ComboPooledDataSource("c3p0");
    public static Connection getConnection() throws SQLException {
        return CPDS.getConnection();
    }
    public static DataSource getDataSource() {
        return CPDS;  // QueryRunner could constructed with DataSource
    }
}

您不必关闭数据源，连接将在执行连接时返回到数据源。关闭（）。