Transformer家族3 -- 计算效率优化（Adaptive-Span、Reformer、Lite-Transformer）

系列文章，请多关注
Transformer家族1 – Transformer详解和源码分析
Transformer家族2 – 编码长度优化（Transformer-XL、Longformer）
Transformer家族3 – 计算效率优化（Adaptive-Span、Reformer、Lite-Transformer）
Transformer家族4 – 通用性优化（Universal-Transformer）
Transformer家族5 – 推理加速（Faster-Transformer、TurboTransformers）
NLP预训练模型1 – 综述

1 背景

上文我们从编码长度优化的角度，分析了如何对Transformer进行优化。Transformer-XL、LongFormer等模型，通过片段递归和attention稀疏化等方法，将长文本编码能力提升到了很高的高度。基本已经克服了Transfor