在大型文本语料库中查找常见单词序列的技术？

Question

有没有任何算法可以有效地在大量文本中找到n个最常见的k个单词序列？

例如，如果n=1和k=5，我的语料库是：

a b a b a c d e f a b a b a c c b c b a b c

输出将是a b a

Answer 1

这里有一个简单的算法。按k个单词的顺序拆分单词序列，每个单词一行一行。例如，我们有：

a b a b a
b a b a c
a b a c d
b a c d e
a c d e f
c d e f a
d e f a b
e f a b a
f a b a b
a b a b a
b a b a c
a b a c c
b a c c b
a c c b c
c c b c b
c b c b a
b c b a b
c b a b c
c b a b c

对它们进行排序：

a b a b a
a b a b a
a b a c c
a b a c d
a c c b c
a c d e f
b a b a c
b a b a c
b a c c b
b a c d e
b c b a b
c b a b c
c b a b c
c b c b a
c c b c b
c d e f a
d e f a b
e f a b a
f a b a b

现在很容易找到最常见的k序列。如果文件非常大，您可能需要将其拆分，对各部分进行排序，然后合并各部分。