从零实现深度学习框架——GloVe从理论到实战

引言

本着“凡我不能创造的，我就不能理解”的思想，本系列文章会基于纯Python以及NumPy从零创建自己的深度学习框架，该框架类似PyTorch能实现自动求导。
��系列文章完整目录： ��点此��
要深入理解深度学习，从零开始创建的经验非常重要，从自己可以理解的角度出发，尽量不适用外部框架的前提下，实现我们想要的模型。本系列文章的宗旨就是通过这样的过程，让大家切实掌握深度学习底层实现，而不是仅做一个调包侠。

Word2vec词向量预训练方法本质上只利用了文本中词与词在局部上下文中的共现信息。而利用奇异值分解得到的词向量不具备良好的几何性质。GloVe结合词向量与矩阵分解的思想。

GloVe模型

GloVe(Global Vectors)模型认为语料库中单词出现的统计(共现矩阵)是学习词向量表示的无监督学习算法的重要资料。
问题在于如何基于这些统计生成单词向量表示。
GloVe模型给出了一个答案，它利用了全局(整个)语料库的统计信息。

我们在介绍PMI的文章中得到了这样一个共现矩阵：

	我	喜欢	自然