自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 Architecture of the T5 model

尉迟阳煦
2023-12-01

自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 Architecture of the T5 model

Exploring the architecture of the T5 model

T5模型一个有趣的参数是词汇表大小:

"vocab_size": 32128

词汇量本身就是一个话题。词汇量过多会导致稀疏表示, 词汇量太少会使NLP 任务带来误差。

可以通过简单地打印模型来查看transformer的详细信息:

 类似资料: