《论文阅读》PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable

数据集：多轮对话数据集
外加标签：无
模型：预训练模型（在对话语料上）
时间：2019年

本文带来Siqi Bao, Huang He, Fan Wang, Hua Wu and Haifeng Wang共同创作的文章

---

简介

预训练模型已被证明对广泛的自然语言处理任务有效。受此启发，我们提出了一种新颖的对话生成预训练框架来支持各种对话，包括闲聊、基于知识的对话和对话式问答。在这个框架中，我们采用灵活的注意力机制来充分利用双向上下文和语言生成的单向特性。我们还引入了离散潜在变量来解决响应生成中固有的一对多映射问题。响应生成和潜在行为识别这两个交互任务在共享网络中同时设计和执行。对三个公开可用的数据集的综合实验验证了所提出框架的有效性和优越性。