[JavaScript知识库] Electron对接语音唤醒Windows SDK

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> JavaScript知识库 -> Electron对接语音唤醒Windows SDK -> 正文阅读

[JavaScript知识库]Electron对接语音唤醒Windows SDK

一、项目主要依赖

vue
vue-cli-plugin-electron-builder
electron
ffi-napi nodejs操作c++的dll库
ref-napi c++类型转换
js-audio-recorder 录音插件

二、下载SDK

设置好唤醒词后, 下载windowsSdk, 项目需要/bin目录下的msc_x64.dll 和 msc.dll (分别是64位和32位的dll, 按需使用), 以及/bin/msc/res/ivw目录下的wakeupresource.jet(语音唤醒资源文件)

三、配置项目

1. 配置externals, 用于调用第三方库

module.exports = {pluginOptions: {electronBuilder: {externals: ['ffi-napi', 'ref-napi'],}}
}

2. 配置sdk路径

由于开发模式和打包后的环境, 文件路径会产生差别, 所以需要将打包后的sdk路径进行配置

例如将sdk放在根目录的libs文件夹下, 则可以按下面配置:

module.exports = {pluginOptions: {electronBuilder: {builderOptions: {extraResources: {from: 'libs/',to: './'}}}}
}

在代码中配置路径时, 需要进行判断

let libPath = path.resolve('libs/bin/msc_x64.dll')
if (process.env.NODE_ENV !== 'development') {libPath = path.resolve('resources/bin/msc_x64.dll')
}

3. 通过ffi调用dll

1. 主要需要使用sdk的以下方法:

MSPLogin 登录方法
QIVWSessionBegin 开启语音唤醒
QIVWRegisterNotify 注册唤醒监听事件
QIVWAudioWrite 写入音频

头文件都可以在下载的sdk的include文件夹找到

int MSPAPI MSPLogin(const char* usr, const char* pwd, const char* params);

typedef int( *ivw_ntf_handler)( const char *sessionID, int msg, int param1, int param2, const void *info, void *userData );

const char* MSPAPI QIVWSessionBegin(const char *grammarList, const char *params, int *errorCode);

int MSPAPI QIVWSessionEnd(const char *sessionID, const char *hints);

int MSPAPI QIVWAudioWrite(const char *sessionID, const void *audioData, unsigned int audioLen, int audioStatus);

int MSPAPI QIVWRegisterNotify(const char *sessionID, ivw_ntf_handler msgProcCb, void *userData);

int MSPAPI QIVWGetResInfo(const char *resPath, char *resInfo, unsigned int *infoLen, const char *params);

2. ffi配置方法定义

方法的类型需要用到ref-napi进行转义例如,

char* => string
int => ref.types.int
int* => ref.refType(ref.types.int)
unsigned int => ref.types.uint
回调方法 => 'pointer'

注意: char* 和 char *性质是一样的, 都是字符串

所以, 可以把需要的方法定义如下,

const libm = ffi.Library(libPath, {MSPLogin: [ref.types.int, ['string', 'string', 'string']],QIVWSessionBegin: ['string', ['string', 'string', ref.refType(ref.types.int)]],QIVWSessionEnd: [ref.types.int, ['string', 'string']],QIVWAudioWrite: [ref.types.int, ['string', ref.refType(ref.types.void), ref.types.uint, ref.types.int]],QIVWRegisterNotify: [ref.types.int, ['string', 'pointer', ref.refType(ref.types.void)]]
})

方法的使用,就是通过 libm.MSPLogin()来调用即可

唯一需要注意的就是QIVWRegisterNotify方法, 需要传入的是一个回调函数, 上面定义时, 可以使用’pointer’占位

在调用时, 需要使用ffi.Callback创建一个回调, 传入函数中, 例如:

先查看回调函数的定义

typedef int( *ivw_ntf_handler)( const char *sessionID, int msg, int param1, int param2, const void *info, void *userData );

ffi.Callback的第一个参数是返回参数的类型, 第二个参数是传入回调函数的参数类型, 第三个参数是回调的处理

const notifyCallback = ffi.Callback(ref.types.int,['string', ref.types.int, ref.types.int, ref.types.int, ref.refType(ref.types.void), ref.refType(ref.types.void)],(sessionID, msg, param1, param2, info, userData) => {if (msg === 2) {console.log('err', param1)} else if (msg === 1) {console.log('唤醒了', info, userData)this.wakeText = '唤醒了' + Date.now()}global.sharedObj = notifyCallbackreturn 0}
)

const notifyResCode = libm.QIVWRegisterNotify(this.sessionId, notifyCallback, null)

注意, 由于callback会被垃圾回收, 所以需要在调用的时候, 赋值到一个全局变量上, 比如global['变量名'] = 回调函数

3. 实时录音传递

初始化录音, 使用单声道, 16位, 16000采样率

this.recorder = new Recorder({sampleBits: 16, // 采样位数，支持 8 或 16，默认是16sampleRate: 16000, // 采样率，支持 11025、16000、22050、24000、44100、48000，根据浏览器默认值，我的chrome是48000numChannels: 1,compiling: true
})

需要使用js-audio-recorder的 V0.5.7 版本, 通过定时调用getNextData方法, 获取当前音频转成buffer传入QIVWAudioWrite方法

由于录音是一直存在缓存中的, 时间长了就会把内存占满, 导致程序崩了.

而我们使用语音唤醒, 不需要留存录音, 所以需要对使用过的音频缓存进行清除

当前的库里清除缓存的方法是clear, 而clear方法没有清除tempPCM, 还是会导致问题, 所以需要重新写个方法, 重新打包

clearCache(): void {this.lBuffer.length = 0;this.rBuffer.length = 0;this.size = 0;this.fileSize = 0;this.PCM = null;this.tempPCM = []this.audioInput = null;this.duration = 0;this.ispause = false;this.isplaying = false;this.playTime = 0;this.totalPlayTime = 0;
}

之后, 我们就可以定时调用下面方法, 来进行音频写入了

async getBuffer () {const data = this.recorder.getWholeData()let arr = []data.forEach(d => {arr = arr.concat(...Buffer.from(d.buffer))})if (this.isBegin) {const buffer = Buffer.from(arr)if (buffer.length === 0) {return}// this.ws.send(buffer)const writeRes = libm.QIVWAudioWrite(this.sessionId, buffer, buffer.length, 2)if (writeRes !== 0) {console.log('写入失败')}}this.recorder.clearCache()
}