TfidfVectorizer如何计算测试数据的分数

Question

在scikit learnTfidfVectorizer中，我们可以拟合训练数据，然后使用相同的矢量器转换测试数据。列车数据转换的输出是一个矩阵，表示给定文档中每个单词的tf idf分数。

然而，安装的矢量器如何计算新输入的分数？我猜：

1. 一个单词在一个新文档中的分数，通过将同一单词在训练集中的文档上的分数进行聚合计算得出

我曾经尝试过从Scikit学习的源代码中推断出这个操作，但不太明白。这是我之前提到的选择之一还是完全不同的选择？请协助。

Answer 1

肯定是前者：每个单词的idf（逆文档频率）仅基于培训文档计算。这是有意义的，因为这些值正是在向量器上调用fit时计算的值。如果您描述的第二个选项是正确的，那么我们每次基本上都会重新安装一个矢量器，而且我们还会导致信息泄漏，因为在模型评估期间会使用测试集中的idf。

除了这些纯粹的概念性解释，您还可以运行以下代码来说服自己：

from sklearn.feature_extraction.text import TfidfVectorizer
vect = TfidfVectorizer()
x_train = ["We love apples", "We really love bananas"]
vect.fit(x_train)
print(vect.get_feature_names())
>>> ['apples', 'bananas', 'love', 'really', 'we']

x_test = ["We really love pears"]

vectorized = vect.transform(x_test)
print(vectorized.toarray())
>>> array([[0.        , 0.        , 0.50154891, 0.70490949, 0.50154891]])

按照fit方法的工作原理，您可以自己重新计算这些tfidf值：

“苹果”和“香蕉”显然有0分的tfidf分数，因为它们不出现在x_test中。另一方面，“梨”不存在于x_train中，因此甚至不会出现在矢量化中。因此，只有“爱”、“真的”和“我们”才会有tfidf分数。

Scikit-学习将tfidf实现为log（（1n）/（1df）1）*f其中n是训练集中的文档数（我们为2），df是该单词仅出现在训练集中的文档数，f是测试集中单词的频率计数。因此：

tfidf_love = (np.log((1+2)/(1+2))+1)*1
tfidf_really = (np.log((1+2)/(1+1))+1)*1
tfidf_we = (np.log((1+2)/(1+2))+1)*1

然后，您需要根据文档的L2距离来衡量这些tfidf分数：

tfidf_non_scaled = np.array([tfidf_love,tfidf_really,tfidf_we])
tfidf_list = tfidf_non_scaled/sum(tfidf_non_scaled**2)**0.5

print(tfidf_list)
>>> [0.50154891 0.70490949 0.50154891]

您可以看到，实际上，我们得到了相同的值，这证实了scikit learn实现这种方法的方式。