哈工大：Chinese-BERT-wwm

在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词掩码（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及与此技术密切相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large, RBT3, RBTL3等。

• Pre-Training with Whole Word Masking for Chinese BERT
• Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Ziqing Yang
• Published in IEEE/ACM Transactions on Audio, Speech, and Language Processing (TASLP)

GitHub - ymcui/Chinese-BERT-wwm: Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）