LDA对于短文本的缺点是什么？

Question

我试图理解为什么潜在Dirichlet分配（LDA）在Twitter这样的短文本环境中表现不佳。我读过“短文本的双项主题模型”这篇论文，但是，我仍然不理解“单词共现的稀疏性”。

在我看来，LDA的生成部分对于任何类型的文本都是合理的，但是在短文本中导致不良结果的是抽样过程。我猜LDA基于两个部分为一个单词抽取一个主题：（1）同一文档中其他单词的主题（2）该单词其他出现的主题分配。由于短文的（1）部分不能反映它的真实分布，这导致每个单词的主题分配不好。

如果您发现了这个问题，请随时发布您的想法，并帮助我理解这一点。

Answer 1

Hong和Davison（2010）做了一点挖掘，发现了一个很好的例子，说明了这些在推特分类方面做得不好。不幸的是，他们并没有真正深入了解它为什么不起作用。

我怀疑LDA不能很好地用于短文档有两个原因。

首先，当处理较小的文档时，额外的主题层不会向分类中添加任何内容，而且没有帮助的内容可能会带来伤害。如果你有很短的文档，比如推特，那么很难将文档分解成主题。毕竟，除了推文中的一个主题之外，没有太多的空间。由于主题层对分类的贡献不大，因此它为系统中出现错误留出了空间。

其次，从语言上讲，推特用户在推特时更喜欢去掉“不必要的绒毛”。在处理完整文档时，可能会有一些特征——词语、词语搭配等——这些特征可能是特定的、常见的，并且在一种类型中经常重复。然而，在推特上，这些常见的元素首先会被删除，因为有趣的、新的、更令人困惑的是，当绒毛被去除后，剩下的是什么。

例如，让我们看看我自己的推特，因为我相信无耻的自我推销：

Progressbar.py is a fun little package, though I don't get 
a chance to use it too often. it even does ETAs for you 
https://pypi.python.org/pypi/progressbar …

From a capitalist perspective, the social sciences exist so 
idiot engineers don't waste money on building **** no one needs.

Abstract enough to be reusable, specific enough to be useful.

第一个是关于Python的。如果您正在解析URL，您将得到它——以及。我也会给你的。然而，在一个更具表现力的媒介中，我可能会把“Python”这个词放在某个地方。第二个也是与编程相关的，但更多的是在业务端。不过，它甚至一次也没有提到任何特定于编程的东西。最后一个也是与编程相关的，但更多地与编程艺术联系在一起，表达了程序员在编码时面临的一种双重绑定。就功能而言，这和第二个一样困难。

在最后两个例子中，如果我没有写微博帖子，这些例子会立即被跟进，这些例子对分类器非常有用，或者它们本身包含了更多的数据。然而，推特没有空间容纳这种东西，推特所属类型的典型内容被删除了。

最后，我们有两个问题。长度对于LDA来说是一个问题，因为主题增加了额外的、不必要的自由度，推文对于任何分类器来说都是一个问题，因为在分类中通常有用的特征会被作者选择性地删除。

Answer 2

LDA等概率模型利用统计推断来发现数据的潜在模式。简言之，他们根据观测结果推断模型参数。例如，有一个黑盒子，里面有许多不同颜色的球。你从盒子里画出一些球，然后推断出球的颜色分布。这是一个典型的统计推断过程。统计推断的准确性取决于观察的数量。

现在考虑LDA在短文本上的问题。LDA将文档建模为主题的混合体，然后每个单词都从其中一个主题中提取出来。你可以想象一个黑匣子包含了由这样一个模型生成的大量单词。现在您已经看到了一个简短的文档，其中只有几个字。观察结果明显太少，无法推断参数。这就是我们提到的数据稀疏性问题。

事实上，除了缺乏观测之外，问题还来自模型的过于复杂。通常，更灵活的模型需要更多的观察来推断。Biterm主题模型试图通过降低模型复杂度来简化主题推理。首先，它将整个语料库建模为主题的混合物。因为在语料库中推断主题混合比在短文档中推断主题混合更容易。其次，它假设每个宾语都来自一个主题。在LDA中，推断biterm的主题也比推断单个单词的主题容易，因为添加了更多的上下文。

我希望这个解释对你有意义。谢谢你提到我们的论文。