自然语言处理（NLP）：21 音乐领域NLP比赛-语义理解NER应用（小数据集BERT快速验证）

专注于文本分类、关键词抽取、文本摘要、FQA问答系统、对话系统语义理解NLU、知识图谱等。结合工业界具体案例和学术界最新研究成果实现NLP技术场景落地。本文主要分析NER 在小规模数据集下BERT上快速验证，关于完成的意图识别和槽位抽取将在后续博客中总结分享。　
博客：https://wenjie.blog.csdn.net/
作者：走在前方
更多精彩内容加入“NLP技术交流群” 学习。

---

主要内容

• 任务描述介绍

  • 领域意图识别判断
  • 槽位填充

• 数据预处理

  • 预料中有多种标签，我们重点关注 singer,songer 标签进行实验

• 数据可视化处理

  • 整体样本统计
  • 句子长度分析，提供模型输入参数max_seq_len 设置多少合适
  • 数据集标签类别分布，保证数据标签式均衡的
    • 针对数据可视化这里采用pyecharts ，更加清晰效果非常好

• 模型训练

  • 这里仅对槽位抽签进行训练（意图部分后续考虑），典型NER任务
  • 数据格式转为规定的标准格式就可以直接训练了

• 在线服务测试

  • 提供API Restfull　服务（小型业务python 即可，大型借助Ｃ++,go…语言进行推测)

任务描述

对话系统是自然语言处理