使用ExecutorService线程的常量连接

Question

我有一个任务来创建一个独立的java应用程序来做以下事情：

1. 解析一个。csv文件。（这将有大约300万条记录）
2. 对于每条记录，在几个DB表中插入约15行
3. 如果出现错误，则输出。csv记录是否已成功处理

我目前的设计思路是：

1. 读这本书。csv文件（这一步还没有考虑太多）

每个线程都有逻辑：

1. 创建数据库连接
2. if（getNextJobFromList（）！=null）
//在批更新中准备并插入语句
3. 关闭数据库资源
4. 给出输出状态

在这里，时间是一个非常大的制约因素。

现在的问题是：

>

我可以使用执行器框架更快吗？在我的伪代码中，线程在其生命周期内保持数据库连接。我可以在执行器框架中做到这一点吗？

还有其他方法可以优化吗？

提前感谢：）




Answer 1

你可以用遗嘱执行人来做这件事。这听起来不是一个好主意，你会用大量的工作淹没数据库，你的大多数线程都会花时间等待。

我认为你最好对数据库进行批量导入（如果你使用Oracle，使用SQL*加载器，其他数据库也有类似的工具），不需要多线程。批量复制速度非常快，它可以关闭约束检查和索引修改，只需要读取数据。它比JDBC快了几个数量级，如果你想要速度，你应该去看看。