当前位置: 首页 > 工具软件 > wukong-robot > 使用案例 >

wukong-robot 自然语言处理&对话

林冥夜
2023-12-01

本文为我的 源代码阅读专栏 第一个工程的代码阅读——wukong-robot 一个优秀的开源智能音箱项目。本文解析的源代码文件为robot文件夹中自然语言处理文件——NLU.py和语言对话文件——AI.py

自然语言处理介绍

wukong-robot相关自然语言处理代码放在NLU.py中。ASR.py文件在结构上参考其他技能文件:提取了抽象类AbstractNLU,并基于此类对百度的NLU API进行封装。下面我先对AbstractNLU进行分析,然后对UnitNLU进行简单的解析。自然语言处理实际上是对下一节将要介绍的语言对话的细部处理,可以从中提取出话语的意图,然后用这些意图进行硬件控制,如:音量、切歌、关机等

AbstractNLU类

AbstractASR类提供了SLUG属性用以标识当前对象的具体插件功能,同时提供了以下抽象方法供子类进行个性化实现:

  • parse。进行 NLU 解析
  • getIntent。提取意图
  • hasIntent。判断是否包含某个意图
  • getSlots。提取某个意图的所有词槽
  • getSlotWords。找出命中某个词槽的内容
  • getSay。提取回复文本
  • get_instance。用于实例化不同的语音识别引擎
  • get_config。由各子类实现,用于获取不同引擎的配置

UnitNLU

百度的NLU引擎可以使用百度开放的python包aip,也可以使用百度开放的http接口调用。作者将百度开放的http接口封装在robot/sdk/unit.py中。实际上百度开放的NUL相关http接口只有一个,这个接口在parse方法中调用,其他方法的实现均是对百度接口返回的字符串进行解析得到的

NLU引擎的加载

NLU.py中额外提供了两个方法:get_engines和get_engine_by_slug。
get_engines可以递归搜索并返回所有继承于AbstractASR的类
get_engine_by_slug通过slug参数寻找类,实例化此类为对象并返回

wukong-robot语言对话机器人介绍

wukong-robot相关语言对话代码放在AI.py中。AI.py文件对图灵、竹间、anyq(被注释掉了)的语言对话接口统一封装成语言对话机器人,以方便wukong-robot自有调用。这些机器人都封装成了类,并且继承自抽象类AbstractRobot。下面我先对AbstractRobot进行分析,然后分别对各语言对话机器人进行简单的解析。

AbstractRobot类

AbstractTTS类提供了SLUG属性用以标识当前对象的具体插件功能,同时提供了以下抽象方法供子类进行个性化实现:

  • chat。对话功能
  • get_instance。用于实例化不同的语言对话机器人
  • get_config。由各子类实现,用于获取不同引擎的配置

TulingRobot

作者将HanTTS语音合成引擎中的部分代码拷贝到wukong-robot项目中,主要有atc.py——实现数字转汉字功能;process.py——语音合成处理逻辑。主要处理逻辑为:

  1. 将文字格式化为全汉字,去掉标点符号
  2. 使用pypinyin将文字转换为拼音
  3. 根据拼音从语音库 syllables.zip中找到对应语音
  4. 根据标点符号设定不同的语音间隔,
  5. 通过AudioSegment将语音和语音间隔合成为一段声音

Emotibot

竹间智能的对话机器人可以使用竹间智能开放的http接口来实现

语言对话机器人的加载

AI.py中额外提供了三个方法:get_unknown_response、get_engines和get_robot_by_slug。
get_unknown_response用于当机器人无法回答时的回复
get_engines可以递归搜索并返回所有继承于AbstractTTS的类
get_robot_by_slug通过slug参数寻找类,实例化此类为对象并返回

参考

考虑到项目源代码可能会被作者更新,致使代码与我的总结文档不一致,下面列表中会提供原始代码链接和冻结代码链接。冻结代码链到我自己fork的工程中,大家如果需要找原始源码,可以点击原始代码链接

 类似资料: