NLP预训练模型汇总

awesome-pretrained-chinese-nlp-models

BERT

        略。

RoBERTa

• RoBERTa 详解
• BPE 算法原理及使用指南【深入浅出】

ALBERT

• ALBERT全面理解

• 一文看懂从BERT到ALBERT

NEZHA

• “哪吒”出世！华为开源中文版BERT模型

• 文献阅读笔记：NEZHA

MacBERT

• MacBERT: 中文自然语言预训练模型

WoBERT

• WoBERT-基于词颗粒度的中文BERT

ZEN

• 中文预训练模型ZEN开源，效果领域内最佳，创新工场港科大出品

RoFormer

• JunnYu/RoFormer_pytorch: RoFormer V1 & V2 pytorch (github.com)

StructBERT

• ICLR2020 | StructBERT : 融合语言结构的BERT模型

Lattice-BERT

• NAACL 2021|基于词格的多粒度预训练语言模型Lattice-BERT

Mengzi-BERT

• 当Bert炼丹不是玄学而是哲学：Mengzi模型

ChineseBERT

• Bert 改进之 ChineseBERT、SpanBERT、MacBERT