将文件1中每一行的数据与文件2中的数据进行比较

Question

我有两个大约150 MB的大txt文件。我想从file1的每一行读取一些数据，并扫描file2的所有行，直到找到匹配的数据。如果没有找到匹配的数据，我希望将该行输出到另一个文件中。

选项2：使用上面提到的三个读取器对文件1中的每个记录读取文件2 n次。每次读取后，我必须关闭文件并再次读取。我在想最好的办法是什么。我还有别的选择吗

Answer 1

我得对文件做些假设。我将假设行是长的，并且你希望在2个文件中的行是不一样的。

我会读4次文件（每个文件2次）。当然，它没有读取2次（每个文件1次）那么高效，但读取2次意味着使用了大量内存。

每个文件第一次读取的伪代码：

Map<MyComparableByteArray, Long> digestMap = new HashMap<>();
try (BufferedReader br = ...)
{
    long lineNr = 0;
    String line;
    while ((line = br.readLine()) != null)
    {
        digestMap.put(CreateDigest(line), lineNr);
    }
}

null

顺便说一句，MyComparableByteArray是一个byte[]的自定义包装器，以使它成为一个HashMap键（即通过实现equals（）和hashCode（）方法）。字节[]不能用作键，因为它不能与equals（）和hashCode（）一起使用。有两种处理方法：

1. 我已经提到过的自定义包装器--这将比替代方案更有效。
2. 使用base64将其转换为字符串。这将使内存使用比选项1差2.5倍，但不需要自定义代码。