在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，哈工大讯飞联合实验室（HFL）基于自主研发的知识蒸馏工具TextBrewer，结合了全词掩码（Whole Word Masking）技术和知识蒸馏（Knowledge Distillation）技术推出中文小型预训练模型 MiniRBT。
中文LERT | 中英文PERT | 中文MacBERT | 中文ELECTRA | 中文XLNet | 中文BERT | 知识蒸馏工具TextBrewer | 模型裁剪工具TextPruner
MiniRBT 采用了如下技术：
-
全词掩码技术：全词掩码技术（Whole Word Masking）是预训练阶段的训练样本生成策略。简单来说，原有基于WordPiece的分词方式会把一个完整的词切分成若干个子词，在生成训练样本时，这些被分开的子词会随机被mask（替换成[MASK]；保持原词汇；随机替换成另外一个词）。而在WWM中，如果一个完整的词的部分WordPiece子词被mask，则同属该词的其他部分也会被mask。更详细的说明及样例请参考：Chinese-BERT-wwm，本工作中使用了哈工大 LTP 作为分词工具。
-
两段式蒸馏：相较于教师模型直接蒸馏到学生模型的传统方法，该项目采用中间模型辅助教师模型到学生模型蒸馏的两段式蒸馏方法，即教师模型先蒸馏到助教模型（Teacher Assistant），学生模型通过对助教模型蒸馏得到，以此提升学生模型在下游任务的表现。并在下文中贴出了下游任务上两段式蒸馏与一段式蒸馏的实验对比，结果表明两段式蒸馏能取得相比一段式蒸馏更优的效果。
-
构建窄而深的学生模型。相较于宽而浅的网络结构，如 TinyBERT 结构（4层，隐层维数312），开发团队构建了窄而深的网络结构作为学生模型MiniRBT（6层，隐层维数256和288），实验表明窄而深的结构下游任务表现更优异。
MiniRBT目前有两个分支模型，分别为MiniRBT-H256和MiniRBT-H288，表示隐层维数256和288，均为6层Transformer结构，由两段式蒸馏得到。同时为了方便实验效果对比，也提供了TinyBERT结构的RBT4-H312模型下载。
模型下载
| 模型简称 | 层数 | 隐层大小 | 注意力头 | 参数量 | Google下载 | 百度盘下载 |
|---|---|---|---|---|---|---|
| MiniRBT-h288 | 6 | 288 | 8 | 12.3M | [PyTorch] | [PyTorch] （密码：7313） |
| MiniRBT-h256 | 6 | 256 | 8 | 10.4M | [PyTorch] | [PyTorch] （密码：iy53） |
| RBT4-h312 (TinyBERT同大小) | 4 | 312 | 12 | 11.4M | [PyTorch] | [PyTorch] （密码：ssdw） |
也可以直接通过huggingface官网下载模型（PyTorch & TF2）：https://huggingface.co/hfl
下载方法：点击任意需要下载的模型 → 选择"Files and versions"选项卡 → 下载对应的模型文件。
-
在之前的描述中，我们通常把机器学习模型和训练算法当作黑箱子来处理。如果你实践过前几章的一些示例，你惊奇的发现你可以优化回归系统，改进数字图像的分类器，你甚至可以零基础搭建一个垃圾邮件的分类器，但是你却对它们内部的工作流程一无所知。事实上，许多场合你都不需要知道这些黑箱子的内部有什么，干了什么。 然而，如果你对其内部的工作流程有一定了解的话，当面对一个机器学习任务时候，这些理论可以帮助你快速的找到恰
-
在之前的描述中，我们通常把机器学习模型和训练算法当作黑箱子来处理。如果你实践过前几章的一些示例，你惊奇的发现你可以优化回归系统，改进数字图像的分类器，你甚至可以零基础搭建一个垃圾邮件的分类器，但是你却对它们内部的工作流程一无所知。事实上，许多场合你都不需要知道这些黑箱子的内部有什么，干了什么。 然而，如果你对其内部的工作流程有一定了解的话，当面对一个机器学习任务时候，这些理论可以帮助你快速的找到恰
-
我希望使用AWS Sagemaker工作流部署一个预训练的模型，用于实时行人和/或车辆检测，我特别想使用Sagemaker Neo编译模型并将其部署在边缘。我想从他们的模型动物园中使用OpenVino的预构建模型之一，但是当我下载模型时，它已经是他们自己的优化器的中间表示（IR）格式。 > 如果没有，是否有任何免费的预训练模型（使用任何流行的框架，如pytorch，tenorflow，ONXX等）
-
文章信息 通过本教程，你可以掌握技能：使用预先训练的词向量和卷积神经网络解决一个文本分类问题 本文代码已上传到Github 本文地址：http://blog.keras.io/using-pre-trained-word-embeddings-in-a-keras-model.html 本文作者：Francois Chollet 什么是词向量? ”词向量”（词嵌入）是将一类将词的语义映射到向量空间
-
我可以在AWS Sagemaker中通过评估模型来训练多个模型train.py脚本，以及如何从多个模型中获取多个指标？ 任何链接、文档或视频都很有用。
-
本文向大家介绍Keras使用ImageNet上预训练的模型方式，包括了Keras使用ImageNet上预训练的模型方式的使用技巧和注意事项，需要的朋友参考一下 我就废话不多说了，大家还是直接看代码吧！ 在以上代码中，我们首先import各种模型对应的module，然后load模型，并用ImageNet的参数初始化模型的参数。 如果不想使用ImageNet上预训练到的权重初始话模型，可以将各语句的中
-
我已经在AWS SageMaker上使用内置算法语义分割训练了一个模型。这个名为model.tar.gz的训练模型存储在S3上。所以我想从S3下载这个文件，然后使用它在我的本地电脑上进行推断，而不使用AWS SageMaker。 以下是三个文件： > ：包括网络架构、数据输入和训练的参数。请参阅语义分割超参数。 我的代码： 错误：
-
错误为： 谁能帮帮我吗？