超大规模数据的重复检测

Question

我对Java非常陌生，所以如果我做了一些非常错误的事情，请原谅我。

我在一个项目中工作，我需要快速扫描大量的数据（CSV有5000万行或更多，每行5个条目）重复。我使用了hashmap，因为它的.contains()方法速度很快。

Answer 1

您在这里有很多选择，我将列出其中的一些：

>

更多的内存：听起来您已经尝试给Java更多的内存，但是如果没有，那么使用-xmx编译器标志-例如Dimitry建议的-xmx3g将给您提供3GB的堆，而默认值为<=1GB.

存储更少的数据：您当前存储的是“1到100个条目”的整行，而实际上我们所需要的只是知道数据是否唯一。arrays.hashcode()函数为您提供了一个相当准确的指示，表明一行在单个int中是唯一的，因此我们可以使用它来限制内存中需要保存的数据量：

>

构造两个hashset 对象，称为seen和seentwice。循环您的数据，并将每个数组的哈希添加到seen，如果它已经在seen中，则添加到seentwice，如下所示：

int[] arr = ... // construct the row's array
int hash = Arrays.hashCode(arr);
if(!seen.add(hash)) {
  // add returns false if we've already seen this hash
  seenTwice.add(hash);
}

现在我们有一组散列，我们看到了两次或更多次；理论上，这将是一个比我们文件中的行数小得多的集合。我们可以让seened收集垃圾，并使用seentwice重新读取文件，以填充实际数据的hashset 行 ，就像您第一次尝试做的那样：

int[] arr = ... // construct the row's array
int hash = Arrays.hashCode(arr);
if(seenTwice.contains(hash)) {
  // If the hash isn't in seenTwice, we know it's not a duplicate
  if(!rows.add(arr)) {
    System.out.println("Row "+Arrays.toString(arr))+" is a duplicate!");
  }
}

使用bash：如果您愿意放弃Java，您可以通过一个基本的bash命令非常容易地找到副本：

cat filename | sort | uniq -d

使用数据库：您可以使用一些内存不足的解决方案，特别是数据库。H2是一个好的、易于使用的Java数据库，但是使用它超出了本答案的范围。可以说，您可以将数据从文件加载到数据库中，然后简单地查询重复的行：在SQL表中查找重复的值

另请参见：在csv文件中查找重复项的脚本