比较木瓦以进行近重复检测

Question

我正在编写shingling代码来比较几乎重复的代码。我在比较代码上有点卡住了。这是我迄今为止的粗略尝试。

//shingles are already hashed integers and I'm working on the evaluation to true via the float similar parameter.
public static boolean compareShingles(float similar, CompareObject comp1, CompareObject comp2) {
        int intersections = 0;
        if(comp1.getShingle().size()>=comp2.getShingle().size()){
        for(int i = 0; i < comp1.getShingle().size(); i++){

              if(comp1.getShingle().get(i).equals(comp2.getShingle().get(i))){
              intersections++;
              }

        }
        }
        else{
              for(int i = 0; i < comp2.getShingle().size(); i++){
                    if(comp2.getShingle().get(i).equals(comp1.getShingle().get(i))){
                    intersections++;
                    }

              }
        }
        return true; //not functional still working on when to return true
  }

如果我应该比较阵列中的这些木瓦1-1，或者我应该比较一个木瓦和一个循环中的所有木瓦，我有点困惑。

例如，如果我循环比较每个木瓦和其他木瓦，那么这些文档将是相同的。。。

{blah blah blah, Once upon a, time blah blah}
{Once upon a, time blah blah, blah blah blah}

如果我在相同的文档上进行了位置比较，那么位置1将是“废话废话”，而不是“曾经的”，这将返回false。

我认为循环将更加密集，但它可能是正确的选择。思想？

Answer 1

顺序并不重要...

您基本上制作瓦片集并将它们与Jaccard相似性进行比较。有一个哈希来自动丢弃重复的瓦片会有所帮助。只需计算每个文档之间的匹配项，并找出需要匹配多少个才能认为它们相似。

http://ethen8181.github.io/machine-learning/clustering_old/text_similarity/text_similarity.html