seq2seq模型中应使用的目标词汇表的大小是否有限制？

Question

在机器翻译seq2seq模型（使用RNN/GRU/LSTM）中，我们提供源语言中的句子，并训练模型将其映射到另一种语言（例如英语到德语）中的单词序列。

这个想法是，解码器部分生成一个分类向量（具有目标单词词汇表的大小），并在该向量上应用一个softmax，然后是一个argmax以获取最可能单词的索引。

我的问题是：考虑到以下因素，目标词词汇量应该有多大，有没有上限

1. 性能仍然合理（对于较大的矢量，softmax将花费更多时间）

Answer 1

词汇量的主要技术限制是GPU内存。单词嵌入和输出投影是模型中最大的参数。词汇量太大，您将被迫使用小训练批次，这将大大减慢训练速度。

此外，并不一定是这样，词汇量越大，性能越好。自然语言中的单词是根据Zipf定律分布的，这意味着单词的频率随着频率等级呈指数级下降。随着词汇量的增加，你添加了在语言中越来越不常见的单词。只有当单词出现在训练数据中时，单词嵌入才会得到更新。在词汇量非常大的情况下，不太频繁的单词的嵌入最终会训练不足，模型无论如何都无法正确处理它们。

机器翻译模型通常使用30k-50k令牌的词汇表。然而，这些不是单词，而是所谓的子单词。使用统计启发式方法对文本进行分割，使大多数常用词保持原样，频率较低的词被分割成子词，最终分割成单个字符。