按顺序读取文件并将其传递给多个线程

Question

我有一个巨大的文件，里面有大约100万条记录。我的要求是从文件中读取记录，并具有可配置数量的线程，这些线程跨多个线程处理记录。

目前，我正在使用单个线程读取该文件，并将其存储到一个集合中。

如何将集合元素按顺序传递给不同的线程进行进一步处理？

Answer 1

可以

您的需求似乎或多或少是生产者-消费者范式生产者-消费者范式。如果您使用的是Java1.5及以上版本，那么可以通过使用并发集合来实现。

BlockingQueue sharedQueue = new LinkedBlockingQueue();
//You can select any Collection Object above which implements BlockingQueue 

您可以找到其他实现BlockingQueue的类

好的。！在这里，你的文件的阅读块将存储在你的share dQueue中，这意味着你的阅读逻辑将充当生产者。

例如，在阅读文件线程中：

 @Override
public void run() {

    // read your file and put reading chunks in Queue 
       sharedQueue.put(yourReadingCHunk);
}

在消费者线程中，您将尝试从该队列中获取这些块。

@Override
    public void run() {
        while(true){
            try {
                System.out.println("Consumed: "+ sharedQueue.take());
            } catch (InterruptedException ex) {

            }
        }
    }

唯一的问题是，在创建如下线程时，必须传递shareQueue。

   Thread iamreading= new Thread(new YourReadingFileClass(sharedQueue));
   Thread iamUsing = new Thread(new YourUsingFileClass(sharedQueue));

有关使用此链接的生产者和消费者问题的更多信息