保留TFIDF结果以使用Scikit for Python预测新内容

Question

我在Python上使用sklearn进行一些聚类。我已经训练了200,000个数据，下面的代码效果很好。

corpus = open("token_from_xml.txt")
vectorizer = CountVectorizer(decode_error="replace")
transformer = TfidfTransformer()
tfidf = transformer.fit_transform(vectorizer.fit_transform(corpus))
km = KMeans(30)
kmresult = km.fit(tfidf).predict(tfidf)

但是，当我拥有新的测试内容时，我想将其群集到我训练过的现有群集中。所以我想知道如何
保存IDF结果，以便对新的测试内容执行TFIDF，并确保新测试内容的结果具有相同的数组长度。

提前致谢。

更新

如果其中一个包含受过训练的IDF结果，则可能需要将“ transformer”或“ tfidf”变量保存到文件（txt或其他）。

更新

例如。我有训练数据：

["a", "b", "c"]
["a", "b", "d"]

并执行TFIDF，结果将包含4个特征（a，b，c，d）

当我 测试时 ：

["a", "c", "d"]

看看它属于哪个html" target="_blank">集群（已经由k-means组成）。TFIDF将仅给出具有3个特征（a，c，d）的结果，因此k均值的聚类将下降。（如果我测试了["a", "b", "e"]，可能还有其他问题。）

那么，如何存储用于测试数据的功能列表（甚至将其存储在文件中）？

更新

解决了，请参阅下面的答案。

Answer 1

我通过保存成功保存了功能列表vectorizer.vocabulary_，并通过CountVectorizer(decode_error="replace",vocabulary=vectorizer.vocabulary_)

以下代码：

corpus = np.array(["aaa bbb ccc", "aaa bbb ddd"])
vectorizer = CountVectorizer(decode_error="replace")
vec_train = vectorizer.fit_transform(corpus)
#Save vectorizer.vocabulary_
pickle.dump(vectorizer.vocabulary_,open("feature.pkl","wb"))

#Load it later
transformer = TfidfTransformer()
loaded_vec = CountVectorizer(decode_error="replace",vocabulary=pickle.load(open("feature.pkl", "rb")))
tfidf = transformer.fit_transform(loaded_vec.fit_transform(np.array(["aaa ccc eee"])))

这样可行。tfidf具有与训练数据相同的特征长度。