Word2vec Gensim精度分析

Question

我正在开发一个NLP应用程序，在那里我有一个文本文件的语料库。我想使用Gensim word2vec算法创建单词向量。

我做了90%的训练和10%的测试。我在适当的集合上训练了模型，但我想在测试集合上评估模型的准确性。

我曾在互联网上浏览过关于准确性评估的任何文档，但我找不到任何允许我这样做的方法。有人知道做精度分析的函数吗？

我处理测试数据的方法是从测试文件夹中的文本文件中提取所有句子，并将其转换成一个巨大的句子列表。在那之后，我使用了一个我认为是正确的函数（结果不是这样，因为它给了我这个错误：TypeError:不知道如何处理uri）。我是如何做到这一点的：

test_filenames = glob.glob('./testing/*.txt')

print("Found corpus of %s safety/incident reports:" %len(test_filenames))

test_corpus_raw = u""
for text_file in test_filenames:
    txt_file = open(text_file, 'r')
    test_corpus_raw += unicode(txt_file.readlines())
print("Test Corpus is now {0} characters long".format(len(test_corpus_raw)))

test_raw_sentences = tokenizer.tokenize(test_corpus_raw)

def sentence_to_wordlist(raw):
    clean = re.sub("[^a-zA-Z]"," ", raw)
    words = clean.split()
    return words

test_sentences = []
for raw_sentence in test_raw_sentences:
    if len(raw_sentence) > 0:
        test_sentences.append(sentence_to_wordlist(raw_sentence))

test_token_count = sum([len(sentence) for sentence in test_sentences])
print("The test corpus contains {0:,} tokens".format(test_token_count))


####### THIS LAST LINE PRODUCES AN ERROR: TypeError: don't know how to handle uri 
texts2vec.wv.accuracy(test_sentences, case_insensitive=True)

我不知道如何修复最后一部分。请帮忙。提前谢谢！

Answer 1

Gensim有各种其他指标来测试您的数据，使用它们，您可能可以在几行代码中定义自己的函数。例如，除了models.wv.analogy（）和evaluate_word_analogies之外，还有像evaluate_word_pairs，closer_than（），距离（），most_similar（）等函数（参见文档models.keyedvector了解更多详情。）这些函数可以单独使用，也可以作为评估单词嵌入的大型函数的一部分。希望这能有所帮助！

Answer 2

一个gensim词向量模型（现在与evaluate_word_analogies（）相比不受欢迎）的准确性（）方法不把你的文本作为输入-它需要一个特定格式的单词类比挑战文件。这个文件通常被命名为questions-words.txt。

这是一种测试通用词向量的流行方法，可以追溯到谷歌最初发布的Word2Vec论文和代码。

然而，这种评估并不一定表明哪些词向量最适合您的需要。（例如，一组词向量在这类类比中得分可能更好，但在特定分类或信息检索目标中得分更差。）

为了达到你自己的目的，你应该设计一些特定于任务的评估，给出一个和你最终目标的成功相关的分数。

此外，请注意，作为一种无监督算法，字向量不一定需要一个测试集来评估。你通常希望使用尽可能多的数据来训练单词向量——确保最大的词汇覆盖率，每个单词有最多的例子。然后你可能会测试一些外部标准的词向量——比如类比问题，这些问题根本不是训练集的一部分。

或者，您只需使用单词向量作为您正在测试的某个下游任务的额外输入，在该下游任务上，您将保留用于训练某个受监督算法的测试集。这确保了您的受监督方法不仅仅是记忆/过度拟合标记的输入，还为您提供了一个间接的质量信号，表明该词向量集是否有助于下游任务。（而且，这个词向量集可以根据它们对其他受监督任务的帮助程度与其他词向量集进行比较，而不是与它们自己的无监督训练步骤进行比较。）