使用gensim理解LDA实现

Question

我试图了解如何gensim包在Python实现潜在Dirichlet分配。我正在做以下工作：

定义数据集

documents = ["Apple is releasing a new product", 
             "Amazon sells many things",
             "Microsoft announces Nokia acquisition"]             

删除stopwords后，我创建了字典和语料库：

texts = [[word for word in document.lower().split() if word not in stoplist] for document in documents]
dictionary = corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]

然后我定义了LDA模型。

lda = gensim.models.ldamodel.LdaModel(corpus=corpus, id2word=dictionary, num_topics=5, update_every=1, chunksize=10000, passes=1)

然后我打印主题：

>>> lda.print_topics(5)
['0.181*things + 0.181*amazon + 0.181*many + 0.181*sells + 0.031*nokia + 0.031*microsoft + 0.031*apple + 0.031*announces + 0.031*acquisition + 0.031*product', '0.077*nokia + 0.077*announces + 0.077*acquisition + 0.077*apple + 0.077*many + 0.077*amazon + 0.077*sells + 0.077*microsoft + 0.077*things + 0.077*new', '0.181*microsoft + 0.181*announces + 0.181*acquisition + 0.181*nokia + 0.031*many + 0.031*sells + 0.031*amazon + 0.031*apple + 0.031*new + 0.031*is', '0.077*acquisition + 0.077*announces + 0.077*sells + 0.077*amazon + 0.077*many + 0.077*nokia + 0.077*microsoft + 0.077*releasing + 0.077*apple + 0.077*new', '0.158*releasing + 0.158*is + 0.158*product + 0.158*new + 0.157*apple + 0.027*sells + 0.027*nokia + 0.027*announces + 0.027*acquisition + 0.027*microsoft']
2013-12-03 13:26:21,878 : INFO : topic #0: 0.181*things + 0.181*amazon + 0.181*many + 0.181*sells + 0.031*nokia + 0.031*microsoft + 0.031*apple + 0.031*announces + 0.031*acquisition + 0.031*product
2013-12-03 13:26:21,880 : INFO : topic #1: 0.077*nokia + 0.077*announces + 0.077*acquisition + 0.077*apple + 0.077*many + 0.077*amazon + 0.077*sells + 0.077*microsoft + 0.077*things + 0.077*new
2013-12-03 13:26:21,880 : INFO : topic #2: 0.181*microsoft + 0.181*announces + 0.181*acquisition + 0.181*nokia + 0.031*many + 0.031*sells + 0.031*amazon + 0.031*apple + 0.031*new + 0.031*is
2013-12-03 13:26:21,881 : INFO : topic #3: 0.077*acquisition + 0.077*announces + 0.077*sells + 0.077*amazon + 0.077*many + 0.077*nokia + 0.077*microsoft + 0.077*releasing + 0.077*apple + 0.077*new
2013-12-03 13:26:21,881 : INFO : topic #4: 0.158*releasing + 0.158*is + 0.158*product + 0.158*new + 0.157*apple + 0.027*sells + 0.027*nokia + 0.027*announces + 0.027*acquisition + 0.027*microsoft
>>> 

我无法从这个结果中了解太多。它是否提供了每个单词出现的概率？还有，主题1、主题2等的含义是什么？我期待着一些或多或少像最重要的关键词。

我已经查阅了gensim教程，但它并没有起到多大作用。

谢谢。

Answer 1

由于上面的答案已经发布，现在有一些非常好的可视化工具可以使用gensim获得LDA的直觉。

看看派尔戴维斯的包裹。这里是一个伟大的笔记本概述。这是一个面向最终用户的非常有用的视频描述（9分钟教程）。

希望这有帮助！

Answer 2

我认为本教程将帮助您非常清楚地理解所有内容-https://www.youtube.com/watch?v=DDq3OVp9dNA

一开始我在理解它的时候也遇到了很多问题。我将试着概括几点。

在潜在狄利克雷分配中，

• 在单词文档袋模型中，单词的顺序并不重要

想象一下创建文档的过程是这样的-

1. 选择主题上的分布
2. 画一个主题，然后从主题中选择单词。对每个主题重复此步骤

LDA是沿着这条路线的一种回溯——假设您有一袋表示文档的单词，那么它代表的主题可能是什么？

因此，在您的案例中，第一个主题（0）

INFO : topic #0: 0.181*things + 0.181*amazon + 0.181*many + 0.181*sells + 0.031*nokia + 0.031*microsoft + 0.031*apple + 0.031*announces + 0.031*acquisition + 0.031*product

更多的是关于事物，亚马逊和许多，因为它们的比例更高，而不是关于微软或苹果的，后者的价值要低得多。

我建议阅读这个博客，以便更好地理解（陈德文是个天才！）http://blog.echen.me/2011/08/22/introduction-to-latent-dirichlet-allocation/

Answer 3

您要寻找的答案在gensim教程中<代码>lda。printTopics（k）为k随机选择的主题打印贡献最大的单词。我们可以假设这是（部分）单词在每个给定主题上的分布，这意味着这些单词出现在主题左侧的概率。

通常，人们会在大型语料库上运行LDA。在一个小得可笑的样本上运行LDA不会得到最好的结果。