当前位置: 首页 > 文档资料 > GX8008 开发文档 >

概述

优质
小牛编辑
135浏览
2023-12-01

前言

VSP(语音信号处理)是专为 GX8010 芯片研发的语音信号处理框架,它运行在 mcu、dsp、npu 和 cpu 上。 主要完成待机和工作模式下的语音信号处理,比如降噪、去混响、回声消除、波束合成、特征提取、激活词识别等。除此之外,VSP 框架还实现了原始语音数据采集、系统的启动和初始化(BootLoader)、系统状态检测、系统功耗控制、LED 环效果、USB 声卡等功能。

语音信号处理算法需要运行在 dsp 中,而一般公司的算法工程师主要专注算法的开发,不太会去详细了解比如 mcu、cpu、npu 等工作原理及其它,为了方便算法工程师在基本了解 VSP 框架后,尽快调试和优化算法,特地开发一套运行在 PC 上模拟硬件仿真用的 vsp_simulate 工程,该工程不仅仅支持 c99 而且还支持 c++98,不过不建议用 c++ 开发算法。

阅读本文前,假定读者掌握 context 的结构以及它的内存结构,假定读者安装好 DSP 工具链。如未掌握,请详细阅读:GX8010_VSP_SDK_DG.pdf

工作原理

从 wave 文件中读取音频数据,按照 VSP 框架中 context 结构封装,送到 dsp 算法进行处理。

vsp 与 vsp_simulate 区别

  1. 运行环境不同:vsp 含有 dsp、mcu、npu、cpu 相关驱动及其代码逻辑,是运行在 GX8010 芯片上;vsp_simultae 只含有 dsp 的算法逻辑以及处理文件的代码逻辑,是运行在 PC 上。
  2. wave 数据来源不同:vsp 框架中的 context 中的 wave 数据是 GX8010 芯片通过麦克风小板采集的实时 wave 数据,由 mcu 封装成一个一个的 context 后发给 dsp 去处理;vsp_simulate 是通过读取 wave 文件,模拟 mcu 封装成与 VSP 框架一致的 context,发给 dsp 算法处理。

最后更新:

类似资料

  • 本文档用以描述 gx8008 芯片,目前官方提供的开发板有:1 GX8008 UAC 开发板,2 GX8008B UAC 开发板,3 GX8008C_Wukong-Prime_V1.1 开发板。

  • 文档详细介绍了GX8008 UAC方案,包括USB相关协议、方案设计、固件烧写和UAC的使用流程等。 概述 GX8008 USB Audio Class(简称UAC)是面向语音前端处理应用而设计的方案,运行离线的demo程序后可进行基本的本地语音交互。UAC平台具备如下特点: 2路模拟MEMS麦克风 1个功能按键 1个RGB3色LED USB 2.0 Device接口 1个UART调试端口 方案设

  • 概述 国际化和本地化的目的就是让一个网站应用能做到根据用户语种和指定格式的不同而提供不同的内容。 Django 对文本翻译, 日期、时间和数字的格式化,以及时区提供了完善的支持。 实际上,Django做了两件事: 由开发者和模板作者指定应用的哪些部分应该翻译,或是根据本地语种和文化进行相应的格式化。 根据用户的偏好设置,使用钩子将web应用本地化。 很显然,翻译取决于用户所选语言,而格式化通常取决

  • 虽然Django 满满的便捷性让Web 开发人员活得轻松一些,但是如果不能轻松地部署你的网站,这些工具还是没有什么用处。Django 起初,易于部署就是一个主要的目标。有许多优秀的方法可以轻松地来部署Django: 如何使用WSGI 部署 部署的检查清单 FastCGI 的支持已经废弃并将在Django 1.9 中删除。 如何使用FastCGI、SCGI 和AJP 部署Django 如果你是部署D

  • 本书概述 进程的概念大家都很熟悉,但你是否能准确说出僵尸进程的含义呢?还有 COW(Copy On Write)、Flock(File Lock)、Epoll 和 Namespace 的概念又是否了解过呢? 本书汇集了进程方方面面的基础知识,加上编程实例,保证阅读后能自如地回答以上问题,在项目开发中对进程的优化也有更深的理解。 本书架构 本书按循序渐进的方式介绍进程的基础概念和拓展知识,主要涵盖以

  • Docker在1.12.0和以上版本中增加了swarm模式。通过swarm模式管理的Docker Engines集群称之为“Swarm”。并可以通过Docker CLI来创建Swarm,在Swarm中部署应用服务,以及管理Swarm。 功能特点 在Docker Engines中集成了集群管理功能:通过Docker CLI可以创建一个用来发布应用services的swarm,而不需要安装其他任何额外