如何在java中使用迭代器模式批量加载文件到hashmap

Question

我有一个包含两百万行的大文件。我希望遍历文件的每一行，将其处理为一个键值对，并将其存储到hashmap中，以便稍后进行比较。然而，出于空间复杂性的考虑，我不希望有一个包含200万个键值对的hashmap。相反，我希望遍历N行文件，并将它们的键值对加载到hashmap中，进行比较，然后将接下来的N行加载到hashmap中，依此类推。

用例的一个例子：

文件txt:

1 Jack London
2 Mary Boston
3 Jay  Chicago
4 Mia  Amsterdam
5 Leah New York
6 Bob  Denver
.
.
.

假设N=3作为hashmap的大小，在第一次迭代时，hashmap将存储文件前三行的键值对，即

1 Jack London
2 Mary Boston
3 Jay  Chicago

在对这些键值对进行比较后，接下来的3行将作为键值对加载到hashmap中：

4 Mia  Amsterdam
5 Leah New York
6 Bob  Denver

依此类推，直到文件中的所有行都被迭代过。我如何使用java中的迭代器设计模式来实现这一点？

Answer 1

你可以这样做：

public class Temp {

  public static void main(String[] args) throws Exception {
    BufferedReader reader = new BufferedReader(new InputStreamReader(get file input stream here));
    int maxSize = 3;
    Map<String, String> map = new HashMap<>(maxSize);
    String line = reader.readLine();
    while (line != null) {
      String[] data = line.split("\\s+");//some dummy parsing
      String key = data[1];
      String value = data[2];
      map.put(key, value);
      if (map.size() == maxSize) {
        //do whatever operations you need
        System.out.println(map);
        map.clear();
      }
      line = reader.readLine();
    }
    if (map.size() > 0) {
      //deal with leftovers
      System.out.println(map);
    }
  }
}

基本上读取和解析地图，直到地图达到最大大小，然后操作内容并清空它。继续这样做，直到你读完了整个文件。最后，如果有剩余内容，请对其进行操作。