用sklearn计数向量化器获取n个gram后缀

Question

我试图得到一个单词的1，2，3克后缀，并在我的模型中使用它们作为特征。

例，

word = "Apple"
 1 gram suffix = 'e'
 2 gram suffix = 'le'
 3 gram suffix = 'ple'

此外，我是NLP新手，不知道如何在我的ML模型中使用这n克作为特征。如何将这些“字符串”n-gram特性转换为某种数字表示，以便在我的模型中使用它们。

谁能帮帮我吗？

Answer 1

Yo可以定义一个自定义的分析器来定义如何从输入中获得特性。对于您的情况，一个简单的lambda函数从单词中获取后缀就足够了：

from sklearn.feature_extraction.text import CountVectorizer

word = ["Orange","Apple", "I"]
n=3
vect = CountVectorizer(analyzer=lambda x: (x[-i-1:] for i in range(0,min(n,len(x)))))
mat = vect.fit_transform(word).todense()

现在，如果我们从得到的向量化矩阵构造一个数据frame：

pd.DataFrame(mat, columns=vect.get_feature_names())

   I  e  ge  le  nge  ple
0  0  1   1   0    1    0
1  0  1   0   1    0    1
2  1  0   0   0    0    0