PyTorch / Gensim-如何加载预训练的单词嵌入

Question

我想将使用gensim进行预训练的word2vec嵌入加载到PyTorch嵌入层中。

所以我的问题是，如何让gensim将嵌入权重加载到PyTorch嵌入层中。

提前致谢！

Answer 1

我只是想报告我的发现，有关如何将gensim嵌入PyTorch。

• PyTorch0.4.0和更高版本的解决方案：

从v0.4.0那里有一个新功能from_pretrained()，使嵌入嵌入变得非常舒适。这是文档中的示例。

import torch
import torch.nn as nn

# FloatTensor containing pretrained weights
weight = torch.FloatTensor([[1, 2.3, 3], [4, 5.1, 6.3]])
embedding = nn.Embedding.from_pretrained(weight)
# Get embeddings for index 1
input = torch.LongTensor([1])
embedding(input)

gensim 的权重可以通过以下方式轻松获得：

import gensim
model = gensim.models.KeyedVectors.load_word2vec_format('path/to/file')
weights = torch.FloatTensor(model.vectors) # formerly syn0, which is soon deprecated

如@Guglie所指出：在较新的gensim版本中，权重可以通过以下方式获得model.wv：

weights = model.wv

• PyTorch版本0.3.1及更早版本的解决方案：

我正在使用版本0.3.1，from_pretrained()但此版本不可用。

因此，我创建了自己的应用程序，from_pretrained因此也可以将其与使用0.3.1。

from_pretrained PyTorch版本0.3.1或更低版本的代码：

def from_pretrained(embeddings, freeze=True):
    assert embeddings.dim() == 2, \
         'Embeddings parameter is expected to be 2-dimensional'
    rows, cols = embeddings.shape
    embedding = torch.nn.Embedding(num_embeddings=rows, embedding_dim=cols)
    embedding.weight = torch.nn.Parameter(embeddings)
    embedding.weight.requires_grad = not freeze
    return embedding

然后可以像下面这样加载嵌入：

embedding = from_pretrained(weights)

我希望这对某人有帮助。