什么是神经网络上下文中的投影层？

Question

我目前正在尝试理解word2vec神经网络学习算法背后的体系结构，该算法基于上下文将单词表示为向量。

读了托马斯·米科洛夫的论文后，我偶然发现了他定义的投影层。尽管这个术语在提到word2vec时被广泛使用，但我无法找到它在神经网络环境中的确切定义。

我的问题是，在神经网络环境中，什么是投影层？它是给一个隐藏层命名的，该层与以前节点的链接共享相同的权重吗？它的单位真的有某种激活功能吗？

另一个更广泛地提到问题的资源可以在本教程中找到，它也指的是第67页周围的投影层。

Answer 1

连续单词包用于预测单个单词的先前和未来词条：因此，它是一个上下文结果。

输入是以前和将来输入的计算权重：所有输入都被赋予相同的新权重：因此，该模型的复杂性/特征计数比许多其他神经网络体系结构小得多。

回复：什么是投影层：来自您引用的论文

去除非线性隐藏层，并为所有单词共享投影层（不仅仅是投影矩阵）；因此，所有单词都被投影到相同的位置（它们的向量被平均）。

因此，投影层是一组共享权重，没有指示激活函数。

请注意，输入和投影层之间的权重矩阵以与NNLM相同的方式共享所有单词位置

因此，隐藏层实际上是由一组共享权重表示的，正如您正确地暗示的那样，所有输入节点都是相同的。

Answer 2

投影层将n-gram上下文的离散词索引映射到连续向量空间。

如本文所述

投影层是共享的，使得对于多次包含相同单词的上下文，相同的权重集被应用于形成投影向量的每个部分。这种组织有效地增加了可用于训练投影层权重的数据量，因为每个上下文训练模式的每个单词都单独地贡献了权重值的变化。

此图显示了如何通过复制投影层权重矩阵中的列来有效组装投影层输出的简单拓扑。

现在，隐藏层：

隐藏层处理投影层的输出，并使用拓扑配置文件中指定的多个神经元创建。

编辑：对图表中发生的事情的解释

投影层中的每个神经元都由一系列与词汇表大小相等的权重表示。投影层不同于隐藏层和输出层，因为它不使用非线性激活函数。它的目的仅仅是提供一种有效的方法，将给定的n-gram上下文投影到一个简化的连续向量空间，以便通过训练来分类这些向量的隐藏层和输出层进行后续处理。给定输入向量元素的一或零性质，索引为i的特定单词的输出只是投影层权重训练矩阵的第i列（其中矩阵的每一行表示单个神经元的权重）。

Answer 3

我发现前面的答案有点过于复杂——投影层只是一个简单的矩阵乘法，或者在NN的上下文中，一个规则/密集/线性层，最终没有非线性激活（sigmoid/tanh/relu/etc.）这个想法是将（例如）100K维离散向量投影到600维连续向量中（我在这里随机选择了数字，“因人而异”）。确切的矩阵参数是通过训练过程学习的。

之前/之后发生的事情已经取决于模型和上下文，而不是OP所要求的。

（在实践中，您甚至不必费心矩阵乘法（因为您将一个1-hot向量相乘，该向量的单词索引为1，其他地方为0），并且会将经过训练的矩阵视为了望表（即语料库中的6257个单词=投影矩阵中的6257行/列（取决于您如何定义）。）