[C++知识库] 基于Syntiant TinyML Board与Edge Impulse的LED语音控制(Arduino/C++)

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> C++知识库 -> 基于Syntiant TinyML Board与Edge Impulse的LED语音控制(Arduino/C++) -> 正文阅读

[C++知识库]基于Syntiant TinyML Board与Edge Impulse的LED语音控制(Arduino/C++)

项目介绍

本项目基于Syntiant TinyML Board，通过Edge Impulse平台，在web端收集数据、训练、部署神经网络模型固件至NDP101内，实现了三种中文指令控制LED灯，闪烁、开灯、关灯（这个效果不明显）。

硬件介绍

Syntiant的TinyML Board，配备超低功耗Syntiant NDP101神经决策处理器，可以通过Edge Impulse平台，在Web端收集数据、训练、部署神经网络模型，通过USB连接通过Edge Impulse轻松下载经过训练的模型，而无需任何专用硬件。

👉 更多介绍：

主要特点

神经决策处理器使用NDP101，连接了两个传感器：
- BMI160 6轴运动传感器
- SPH0641LM4H麦克风
主机处理器：SAMD21 Cortex-M0+ 32位低功耗48MHz ARM MCU
- 内置256KB FLASH和32KB SRAM
- 5个数字I/O，与Arduino MKR系列板兼容
- 其中包含1路UART接口和1路I2C接口（包括在数字I/O引脚中）
- 2MB板载串行闪存
- 一个用户定义的RGB LED
- uSD卡插槽
电路板可使用5V micro-USB或3.7V LiPo电池供电

神经网络模型

👉 Syntiant Tiny ML Board

由于该开发板完全支持Edge Impulse，因此可根据官网引导：

克隆Edge Impulse上的Go & Stop示例工程
下载Arduino程序的脚本（注意这个脚本只能下载Arduino那边的程序，无法下载网络模型固件）
Audio firmware（内有专下载网络模型的脚本）
IMU firmware（运动传感器，与上述类似）

数据采集

该部分完全在Web端通过电脑的麦克风录制中文音频，”闪烁“、“开灯”、“关灯”，三者各120+30段左右（训练集:测试集=4:1），每段1秒钟长度。录制时可先连续录制10s，后手动裁剪。

?? 检查录音是否完整、清晰

前面说可以克隆它提供的Go & Stop示例工程，其中有一类别是“z_openset”，语音大多是一些"Hello world"之类的语句，可以将他们也纳入你的训练集。但实际部署测试效果很差：这一类别目的是作为“其他”类，即当没有下达指令或受噪声干扰时分为此类，但实际测试中也很难判断到此类别，失去意义。

以下是训练集、测试集样本数量和比例，“z_openset”一类给disable了，后续没有用到。

Training Set
Test Set

网络训练

Impulse Design这一步骤请严格参照上述给出的官方指导即可：Syntiant Tiny ML Board

?? 我感觉网络训练的学习率、cycles、dropout等一些超参数可能需要结合实际训练效果微调，loss小一点更好，不要过分看重验证集正确率。

训练后的模型验证集正确率能90%+，loss<0.2就算凑合。可以发现“开灯”和“关灯”容易误判。

训练后

模型部署

这一步，首先选择"Create libray"下的"Syntiant NDP101 library"，然后选择下方“Find posterior parameters”（寻找先验参数）。

?? 注意不要选到“Build firmware”上，它生成的是Go & Stop示例工程的固件，除非你是按照示例工程演示
Deployment
后续勾选你实际要判断的类别与No calibration。测试了有10分钟English radio的校准，感觉也没啥效果。
FInd posterior parameters
找到先验参数后，build完会下载一个压缩包，解压后如图所示：

build package

model_parameters内是网络的一些信息，替换其示例工程下./src/model_parameters；
后面两个就是网络模型的固件，通过Audio firmware中的flash_linux.sh（Win端类似）可同时下载Arduino程序与NN固件；
因此一个工程需要由两部分组成：NN固件以及业务逻辑程序(Arduino)，在其中实现LED的控制。

业务逻辑程序

直接修改示例工程的firmware.ino部分代码，主要是函数on_classification_changed：

typedef enum {
    _BLINK,
    _TURN_ON,
    _TURN_OFF,
    //_Z_OPENSET = 0U
} Led_Status;

Led_Status last_state = _TURN_OFF;	// 这个变量最后没用上

void on_classification_changed(const char *event, float confidence, float anomaly_score) {
    // here you can write application code, e.g. to toggle LEDs based on keywords
    if (strcmp(event, "blink") == 0) {
        blink_cb();
    }

    else if (strcmp(event, "turn_off") == 0) {
        turn_off_cb();
    }

    else if (strcmp(event, "turn_on") == 0) {
        turn_on_cb();
    }
}

// 这个函数没有用到，期望是在判断到非三种模式时保持之前的业务逻辑操作
void on_classification_unmatched() {
    if (last_state == _BLINK)
        blink_cb();
    else if (last_state == _TURN_ON)
        turn_on_cb();
    else if (last_state == _TURN_OFF)
        turn_off_cb();
}

void turn_on_cb() {
    last_state = _TURN_ON;
    digitalWrite(LED_GREEN, HIGH);
}

void turn_off_cb() {
    last_state = _TURN_OFF;
    digitalWrite(LED_GREEN, LOW);
}

void blink_cb() {
    last_state = _BLINK;
    digitalWrite(LED_BLUE, HIGH);
    delay(200);
    digitalWrite(LED_BLUE, LOW);
    delay(200);
    digitalWrite(LED_BLUE, HIGH);
    delay(200);
    digitalWrite(LED_BLUE, LOW);
}