使用Java并发从大文件（2GB）读取并写入另一个文件

Question

我有一个巨大的文件（2GB），其中只包含员工编号。我必须阅读此文件，获取员工号码并调用数据库以获取员工的工资，然后将其写入另一个文件中，并将员工姓名和工资作为其行。

现在的问题是，通过直接读取这个巨大的文件通过简单的nio在java我的STS内存溢出或它需要4-5小时来完成整个读-取-写过程。

所以我想用Java并发来拯救我。

为此，我有一个实现Runnable的EmployeeDetails类，在其主方法中，我创建了一个线程池执行器，核心大小和最大大小为2，指定超时并传递阻塞队列。

BlockingQueue workQueue = new LinkedBlockingQueue();
In ThreadPoolExecutor along with corePoolSize=2 , maximumPoolSize =20 , keepAliveTime  = Long.MAX_VALUE, workQueue is been passed.

然后创建inputFile对象，从需要写入数据的path和outputFile对象获取输入文件。

然后我创建了两个EmployeeDetails对象，

EmployeeDetails readFile = new EmployeeDetails(inputFile);
EmployeeDetails writeFile = new EmployeeDetails (outputFile);

然后是ThreadPoolExecutor。提交（readFile）和线程池执行器提交（writeFile）调用。

在类中，我创建了run方法，run方法打开数据库连接，然后BufferedReader获取文件，而循环运行直到br.readLine（）！=null然后对每个员工调用db来获取工资，因为员工在不同的分片（MySQL）中，因此作为其工资。

一旦工资被检索到，我就把它放在一个列表中，一旦列表的大小达到10000。我需要等待一个线程并调用wrie线程将其写入文件并刷新列表以获得另外10000条记录，这就是问题所在。

请建议一种从文件中读取10000条记录的方法，调用数据库获取详细信息，然后填充一个列表，一旦他列出10000条记录，调用写线程来拍摄列表并写入另一个文件。

Answer 1

我不认为它仅仅对文件的读写进行分割就可以显著提高性能。

而是考虑将实际的工作从DB分割成线程。

在开始时创建ExecutorService，从原始线程开始，只需逐个读取这些行，并将它们包装到Callable中，然后进行提取，并将它们传递给executor服务。将生成的未来传递到写入线程将使用的LinkedBlockingQueue。这将等待传入的futures并写入结果（这是为了保持顺序，否则您可以直接从Callable写入）。