比较多个字符串以查找“平均值”/最常见的字符串

Question

我试图在许多字符串上找到一个常见的（最常见的，甚至是“平均”）短语。不同字符串之间的结构非常糟糕，并且充满了不一致性。许多字符串都添加了与所需输出无关的唯一位：一个新字符串，其作用类似于字符串集的某种摘要。

为了说明这一点，我提供了一个小示例，实际数据更复杂，由更多字符串组成：

示例数据：

1. Small house, red roof, 2 windows, no garden
2. Big house, red roof, 2 windows, garage with driveway
3. Small house, red roof, 2 windows, nice view 

Small house, red roof, 2 windows

在一个更小的数据集上，结构要复杂得多，我以前一直依赖字数：

words = df['Phrases'].str.split(expand=True).stack().value_counts()
words = words.reset_index()

summary = ""
for i in range(3):
    summary += f"{words['index'][i]} "

在这个更简单的数据集上，只需选取n个最常见的短语，就可以得到有用的摘要。

查看类似的问题（例如，从包含最常用单词的多个字符串中提取新字符串，或在ArrayList（）中找到最常用的字符串），它们之间有很多相似之处。“公共短语”存在于所有提供的字符串中，或者为单词出现设置了阈值。这里的情况都不是这样。

我尝试的另一件事是使用交叉点：

phrases = []
for phrase in df['Phrases']:
    phrases.append(phrase.split())

def intersect(list1, list2):
    return list(set(list1) & set(list2))

print (intersect(phrases[0], phrases[1])

然后使用示例数据打印：

house red roof 2 windows

交叉点和两个以上列表的一个问题是，对于每个额外的列表/字符串，它只会删除越来越多的列表。如果短语中有足够的差异，那么很快就会在所有短语之间出现一个空的交叉点。

挑战：

• 不保证所有字符串中都有一个通用短语。

我想尝试但不知道如何正确处理的一件事是使用wordcounts设置为百分比，这将消除一个单词出现次数阈值，但仍然需要一个未知的百分比阈值。也不包含单词对/组。因此，这将更容易扩大规模，但可能不是一个合适的解决方案。

另一个想法是实现某种形式的近似字符串匹配，但这似乎只在一种方式下起作用：表示两个字符串之间的相似性。因此，它不提供与所有给定字符串具有最高相似性的新字符串。

Answer 1

这不是一个完整的答案，但可能会给你一些想法。

1. 将字符串拆分为逗号分隔的字符串列表显然是查看给定示例的第一步