GloVe
GloVe的全称叫Global Vectors for Word Representation，它是一个基于全局词频统计（count-based & overall statistics）的词表征工具，它可以把一个单词表达成一个由实数组成的向量，这些向量捕捉到了单词之间一些语义特性，比如相似性、类比性等。
构建共现矩阵
设共现矩阵为 X X X ，其元素为 X i , j X_{i,j} Xi,j 。
X i , j X_{i,j} Xi,j 的意义为：在整个语料库中，单词 i i i 和单词 j j j 共同出现在一个窗口中的次数。
具体示例见：https://blog.csdn.net/coderTC/article/details/73864097
词向量与共现矩阵的近似关系
构建词向量（Word Vector）和共现矩阵（Co-ocurrence Matrix）之间的近似关系，论文的作者提出以下的公式可以近似地表达两者之间的关系：
log X i k = w i T w k + b i + b k \log X_{i k}=w_{i}^{T} w_{k}+b_{i}+b_{k} logXik=wiTwk+bi+bk
具体公式推导见：https://zhuanlan.zhihu.com/p/42073620
构造损失函数
J = ∑ i k f ( X i k ) ( w i T w k + b i + b k − log X i k ) 2 J=\sum_{i k} f\left(X_{i k}\right)\left(w_{i}^{T} w_{k}+b_{i}+b_{k}-\log X_{i k}\right)^{2} J=ik∑f(Xik)(wiTwk+bi+bk−logXik)2
f ( x ) f(x) f(x) 为权重函数，满足如下三个特点：
- f ( 0 ) = 0 f(0)=0 f(0)=0 ，即两个单词没有在同一个滑动窗口中出现过，那么它们不应该参与到loss的计算中；
- f ( x ) f(x) f(x) 为非递减函数，即这些单词的权重要大于那些很少在一起出现的单词；
- f ( x ) f(x) f(x) 不能过大，达到一定程度后不再增加。如果汉语中“这”出现很多次，但重要程度很小；
综上
f
(
x
)
f(x)
f(x) 定义如下：
f
(
x
)
=
{
(
x
x
max
)
α
,
if
x
<
x
max
1
,
otherwise
f(x)=\left\{\begin{array}{c} \left(\frac{x}{x_{\max }}\right)^{\alpha}, \text { if } x<x_{\max } \\ 1, \text { otherwise } \end{array}\right.
f(x)={(xmaxx)α, if x<xmax1, otherwise
GloVe与LSA、Word2Vec的区别
- LSA是基于奇异值分解（SVD）的算法，该方法对term-document矩阵（矩阵的每个元素为tf-idf）进行奇异值分解，从而得到term的向量表示和document的向量表示。此处使用的tf-idf主要还是term的全局统计特征。而我们SVD的复杂度是很高的，所以它的计算代价比较大。还有一点是它对所有单词的统计权重都是一致的。
- word2vec最大的缺点则是没有充分利用所有的语料，只利用了局部的上下文特征。
- GloVe模型就是将这两中特征合并到一起的，即使用了语料库的全局统计（overall statistics）特征，也使用了局部的上下文特征（即滑动窗口）。