[人工智能]【文献翻译】基于深度学习的脑电信号癫痫自动检测系统

摘要

癫痫是一种神经系统疾病，对于其检测，脑电图（EEG）是一种常用的临床方法。脑电信号的人工检测是一个费时费力的过程，这给神经科医生带来了沉重的负担，并影响了他们的表现。已经提出了几种使用传统方法的自动技术来帮助神经学家检测二元癫痫场景，例如癫痫与非癫痫或正常与发作。这些方法在对三元病例进行分类时表现不佳，例如，发作期与正常期与发作间期；采用最先进的方法，这种情况下的最大准确度为97±1%。为了克服这个问题，我们提出了一个基于深度学习的系统，它是金字塔一维卷积神经网络（P-1D-CNN）模型的集成。在CNN模型中，瓶颈是大量可学习的参数。P-1D-CNN采用精化方法的概念，与传统CNN模型相比，其参数减少了60%。为了进一步克服数据量小的局限性，我们提出了学习P-1D-CNN模型的增广方案。在几乎所有有关癫痫检测的病例中，所提出的系统在波恩大学数据集上的准确率为99.1±0.9%。

关键词：脑电图（EEG）、癫痫、发作、发作间期、1D-CNN

1 - 介绍

癫痫是一种影响全球约5000万人的神经系统疾病（Megiddo等人，2016年）。脑电图（EEG）是一种有效且无创的技术，常用于监测大脑活动和诊断癫痫。神经科医生对脑电图读数进行分析，以检测和分类疾病的模式，如发作前的峰值和癫痫发作。目视检查费时费力；检查患者一天的数据记录需要很多小时，而且还需要专家的服务。因此，对患者记录的分析给神经学家带来了沉重的负担，降低了他们的效率。这些局限性促使人们努力设计和开发自动化系统，以帮助神经学家对癫痫和非癫痫脑电信号进行分类。

最近，人们开展了大量研究工作，将癫痫和非癫痫信号作为一个分类问题进行检测（Gardner等人，2006年；Meier等人，2008年；Mirowski等人，2009年；Sheb等人，2010年）。从机器学习的角度来看，癫痫和非癫痫脑电图信号的识别是一项具有挑战性的任务。通常，由于癫痫发作的发生频率较低，因此有少量癫痫数据可用于训练分类器。此外，数据中存在的噪声和伪影给学习与正常、发作和非发作病例相关的大脑模式带来了困难。

由于患者癫痫发作形态的不一致，这种困难进一步增加（McShane，2004）。现有的癫痫自动检测技术使用传统的信号处理（SP）和ML技术。其中许多技术在一个问题上表现出良好的准确性，但在其他问题上表现不佳，例如，它们在癫痫与非癫痫病例的分类上表现出良好的准确性，但在正常、发作期与发作间期的情况下表现不佳（T.Zhang等人，2017）。由于以下三个原因，这仍然是一个具有挑战性的问题：

• 不存在一个能将二元和三元问题（即正常与发作期与发作间期）分类的通用模型；
• 可用标记数据较少；
• 准确度低。

为了帮助神经科医生，我们需要一个通用的自动系统，即使训练样本较少，也能表现出良好的性能（Andrzejak等人，2001年；Sharmila等人，2016年）。

研究人员已经提出了使用手工工程技术从EEG信号中提取特征来检测癫痫发作的方法。提出的一些方法使用了EEG信号信息的频谱（Tzallas等人，2012）和时间方面（Shoeb，2009）。EEG信号包含长时间周期的低频特征和短时间周期的高频特征（Adeli等人，2003），即特征之间存在一种层次结构。深度学习（DL）是一种最先进的ML方法，可自动对不依赖数据且适合数据的特征层次进行编码；在我的应用中，它已经显示出了有希望的结果。此外，使用DL模型提取的特征显示出比手工设计的特征更具辨别力和鲁棒性（LeCun等人，1995年）。为了提高癫痫和非癫痫脑电信号分类的准确性，我们提出了一种基于DL的方法。

最近出现的DL技术在几个应用领域表现出了显著的性能。深度CNN的变体，即2D CNN，如AlexNet（Krizhevsky等人，2012年）、VGG（Simonyan等人，2014年）等，或3D网络，如3DCNN（Ji等人，2013年）、C3D（Tran等人，2015年）等，在许多领域都表现出了良好的性能。最近，1D-CNN已成功用于文本理解、音乐生成和其他时间序列数据（崔等人，2016年；因斯等人，2016年；勒坤等人，1998年；X.张等人，2015年）。DL方法的端到端学习范式避免了选择特征提取器和特征子集选择器的适当组合，以提取和选择将由合适分类器分类的最具辨别力的特征（Andrzejak等人，2001；Hussain等人，2016；Sharmila等人，2016；T.Zhang等人，2017）。虽然传统方法与DL方法相比训练速度快，但在测试时速度慢得多，且不能很好地推广。经过训练的深度模型可以在几分之一秒内测试样本，适合实时应用；唯一的瓶颈是数据量大，训练时间长。为了克服这个问题，需要引入一种增强方案，该方案可能有助于以最佳方式使用少量可用数据来训练深度模型。

由于EEG是一个一维信号，因此我们提出了一个用于检测癫痫的金字塔形1D-CNN（P-1D-CNN）模型，该模型涉及的可学习参数要少得多。由于可用数据量较小，因此针对训练P-1D-CNN，我们提出了两种增强方案。以经过训练的P-1D-CNN模型为专家，我们设计了一个P-1D-CNN模型集成系统，该系统采用多数投票策略来融合检测癫痫的局部决策。该系统接收一个EEG信号，用固定大小的滑动窗口对其进行分割，并将每个子信号传递给相应的P-1D-CNN模型（图2），该模型对其进行处理，并将局部决策交给多数投票模块。最后，多数投票模块做出最终决定（图1）。对于癫痫检测的不同问题，它的表现优于最先进的技术。本研究的主要贡献是：

1. 数据增强方案。
2. 基于P-1D-CNN深度模型集成的系统，用于二元和三元EEG信号分类
3. 构建深度1D-CNN模型的新方法；
4. 全面评估用于检测不同癫痫病例的增强方案和深度模型。

论文的其余部分组织如下：在第2节中，我们介绍了文献综述。第3节详细描述了提议的系统。第4节讨论了P-1D-CNN模型的模型选择、数据扩充方案和训练。第5节介绍、讨论和比较我们取得的成果。最后，第6节对本文进行了总结。

2 - 文献综述

癫痫和非癫痫脑电信号的识别是一个分类问题。它包括从脑电信号中提取鉴别特征，然后进行分类。在以下段落中，我们将概述相关的最新技术，这些技术使用不同的特征提取和分类方法对癫痫和非癫痫脑电图信号进行分类。

Swami等人（Swami等人，2016年）提取了香农熵、标准差和能量等手工特征。他们使用一般回归神经网络（GRNN）分类器对这些特征进行分类，并在波恩大学数据集上分别获得了AE（非癫痫发作和癫痫发作）和AB-E（正常发作与癫痫发作）的最大准确度，即100%和99.18%。然而，对于其他情况，如B-E、C-E、D-E、CD-E和ABCD-E，最大准确率为98.4%。

在另一项研究中，郭等人（郭等人，2010年）在同一数据集上获得了ABCD-E病例的准确率为97.77%。他们使用**人工神经网络分类器（ANN）**对通过离散小波变换（DWT）提取的线长特征进行分类。

Nicolaou等人（Nicolaou等人，2012年）从EEG信号中提取置换熵特征。他们采用**支持向量机（SVM）**作为分类器，在波恩大学数据集上实现了对AE案例的93.55%的准确率。然而，对于其他情况，如B-E、C-E、D-E和ABCD-E，最大准确率为86.1%。

甘地等人（Gandhi等人，2011年）使用DWT从EEG信号中提取熵、标准差和能量特征。 他们使用SVM和概率神经网络（PNN）作为分类器，并报告ABCD-E病例的最大准确率为95.44%。Gotman等人（J Gotman等人，1979年）使用了尖波和尖峰识别技术。他们在（J Gotman，1982；Jean Gotman，1999；Koffler等人，1985；Qu等人，1993）进一步加强了这项技术。

Shoeb等人（Shoeb，2009）使用SVM分类器，并采用了针对患者的预测方法；结果表明，准确率达到96%。在大多数工作中，用于区分癫痫发作和非癫痫发作事件的常用分类器是支持向量机（SVM）。

然而，在（Khan等人，2012年）中，**线性判别分析（LDA）**分类器用于对五名受试者进行分类，包括65次癫痫发作。准确率、敏感性和特异性分别为91.8%、83.6%和100%。

Acharya等人（Acharya等人，2012年）专注于使用熵进行EEG癫痫检测和七种不同的分类器。表现最好的分类器是模糊Sugeno分类器，其灵敏度为99.4%，特异性为100%，总体准确率为98.1%。性能最差的分类器是朴素贝叶斯分类器，其灵敏度为94.4%，特异性为97.8%，准确率为88.1%。

Nasehi和Pourghassem（Nasehi等人，2013年）使用了粒子群优化神经网络（PSONN），其灵敏度为98%。Yuan等人（Yuan等人，2012年）使用极限学习机（ELM）算法进行分类。21份癫痫发作记录用于训练分类器，65份用于测试。结果表明，该系统的平均灵敏度为91.92%，特异性为94.89%，总准确率为94.9%。

Patel等人（Patel等人，2009年）提出了一种低功耗的实时分类算法，用于检测动态脑电图中的癫痫发作。他们比较了13名受试者的马氏判别分析（MDA）、二次判别分析（QDA）、线性判别分析（LDA）和支持向量机分类器。结果表明，当对单个患者进行训练和测试时，LDA显示出最好的结果。其敏感性为94.2%，特异性为77.9%，总准确率为87.7%。当在所有受试者中推广时，其敏感性为90.9%，特异性为59.5%，总体准确率为76.5%。

此外，在（Sharmila等人，2016；T.Zhang等人，2017）中给出了用于二元（例如癫痫与非癫痫）和三元（发作与正常与发作间期）场景的特征提取器和分类器的详细列表。

以上给出的最新技术概述表明，大多数特征提取技术都是手工制作的，不适合数据。为了提高癫痫检测系统的准确性和通用性，可以使用DL方法来避免手工制作的特征抽取器和分类器。据我们所知，到目前为止还没有人使用DL方法进行癫痫检测，可能是因为可用数据量小，不足以训练深层模型。因此，我们有动机利用DL技术提出一个涉及少量可学习参数的深层模型，并将EEG脑信号有效分类为癫痫或非癫痫。

3 - 提出的系统

基于深度学习的脑电信号癫痫自动检测系统如图1所示。它由三个主要模块组成：

• 使用固定大小的重叠窗口将输入信号分解为子信号，
• P-1D-CNN模型的集合，其中每个子信号由相应的P-1D-CNN模型分类
• 融合和决策，局部决策通过多数投票进行融合，以做出最终决策。

一般的深度模型需要大量的数据进行训练，但对于癫痫检测问题，数据量是有限的。为了解决这个问题，我们在第4节介绍了数据增强方案，其中对应于癫痫或正常病例的每个EEG信号被划分为重叠窗口（子信号），每个窗口被视为训练P-1D-CNN模型的独立样本。使用经过训练的P-1D-CNN模型的副本，我们构建了集成分类器，其中每个模型都扮演着专家检查信号特定部分的角色。为了分类，在考虑增强方法的情况下，将输入EEG信号分成重叠窗口，这些窗口被传递到集合中的不同P-1D-CNN模型，如图1所示，即信号的不同部分被分配给不同的专家（模型）进行局部分析。经过局部分析，每个模型都提供了一个局部决策；最后，通过对最终决定的多数投票，将这些决定融合在一起。集合中P-1D-CNN模型（专家）的数量取决于窗口的数量。例如，如果一个输入EEG信号被划分为n个窗口（子信号），则集合将由n个P-1D-CNN模型组成。

该系统的核心部分是一个P-1D-CNN模型。它是一个深层模型，由卷积层、批量归一化层、ReLU层、全连接层和Dropout层组成。在下一节中，我们将详细介绍这个深层模型。为了简洁地描述这些想法，表1给出了关键术语及其首字母缩略词。

3.1 P-1D-CNN结构

深度CNN模型（LeCun等人，1998年；Simonyan等人，2014年）自动从数据中学习EEG信号的结构，并以端到端的方式进行分类，这与传统的手工设计方法相反，后者提取第一个特征，选择提取的特征子集，最后将其传递给分类器进行分类。

CNN模型的主要组成部分是由许多通道（特征图）组成的卷积层。通道中每个神经元的输出是一个卷积运算的结果，在输入信号或前一个卷积层的特征图（1D信号）上有一个固定感受野的核（由同一通道中的所有神经元共享）。通过这种方式，CNN分析一个信号来学习一个层次的鉴别信息。在CNN中，核是从数据中学习的，不像手工设计的方法，在手工设计的方法中，核是预定义的，例如小波变换。尽管CNN以其新颖的共享核思想，与全连接模型相比，具有显著减少参数数量的优势，但最近出现的使CNN更深的现象，大量参数增加了其复杂性，导致在小数据集上过拟合。由于用于癫痫检测的可用EEG数据规模较小，我们使用两种不同的策略来处理这个问题，即新的数据增强方案和具有少量参数的高效记忆深度CNN模型。

脑电信号是一个一维时间序列；因此，为了对其进行分析，我们提出了金字塔1D-CNN模型，我们称之为P-1D-CNN，其通用架构如图2所示，它是一个端到端模型。与传统的CNN模型不同，它不包括任何池化层；通过卷积层中更大的stride，减少了冗余或不必要的特征。卷积层和全连接层从给定的输入信号中学习从低级到高级的特征层次。将具有语义表示的高级特征作为输入传递给最后一层的softmax分类器，以预测输入EEG信号的相应类别。

CNN模型通常采用从course到fine的方法构建，其中低层包含少量核，而高层包含大量核。但这种结构涉及大量可学习的参数，即其复杂性很高。取而代之的是，我们采用了类似于Ullah和Petrosino（Ullah et al.，2016）为深层2D CNN提出的金字塔结构，其中低层包含大量内核，高层包含少量内核。这种结构大大减少了可学习参数的数量，避免了过拟合的风险。Conv1层中包含大量内核，Conv2和Conv3层中的内核数减少为常量，例如表3中规定的模型E和H分别包含24、16和8个内核的Conv1、Conv2和Conv3层。其思想是，随着网络的深入，低层提取大量微观结构，这些微观结构由更高层组成，形成更高层次的特征，这些特征数量较少，但具有识别性。

为了证明金字塔CNN模型的有效性，我们考虑了八个模型，其中四个具有金字塔结构。表3显示了这些模型的详细规格，并给出了每个模型中需要训练的参数数量。最后一个全连接的层有两个或三个节点，这取决于EEG脑信号分类问题是两类（例如癫痫和非癫痫）还是三类（正常与发作期与发作间期）。在这些模型的帮助下，我们展示了一个正确设计的模型如何在参数较少的情况下获得相同或更好的性能，从而降低了过度拟合的风险。具有金字塔结构的模型涉及的可学习参数数量显著减少，见表3；模型H采用金字塔结构，其参数比类似的1DCNN模型D少63.64%。

深度P-1D-CNN模型的细节如图2所示。输入信号用零均值和单位方差进行归一化。这种标准化有助于加快收敛速度，避免局部极小值。归一化输入由三个卷积块处理，其中每个块由三层组成：卷积层(Conv), 批归一化层(BN) 以及非线性激活层(ReLU). 第三个块中的ReLU层被传递到全连接层(FC1） 然后是一个ReLU层和另一个全连接层(FC2). 为了避免过拟合，我们在FC2使用了dropout层，dropout层的输出传递给softmax层，该层用作分类器并预测输入信号的类别。最后一层神经元的数量将根据分类类别的数量而变化，如表3中2/3所示的正常、发作、发作间期（三类）或非发作、发作（二元类）。在以下小节中，我们将简要解释两个主要层，即1D卷积层和BN层。

a) 卷积层

1D卷积运算通常用于过滤1D信号（例如时间序列），以提取鉴别特征。卷积层是通过将前一层与感受野$R_f$和深度的K个核卷积而生成的，这等于前一层中的通道数或特征图数。

请注意，生成的卷积层中的通道数等于核数。不同的核函数从输入信号中提取不同类型的鉴别特征。内核的数量随着网络的不断深入而变化。低级核学习微观结构，而高级核学习高级特征。在该模型中，在第一个卷积层中选择最大数量的核，在随后的层中减少33%，以保持金字塔结构。三个卷积层的激活（通道）如图3所示。

b) 批归一化

在训练过程中，由于参数的更新，特征图的分布会发生变化，这迫使选择较小的学习速率和谨慎的参数初始化。它减慢了学习速度，并使学习变得更加困难，非线性饱和。Ioffe和Szegedy（Ioffe et al.，2015）将这种现象称为内部协变量转移，并提出批归一化（BN）作为该问题的解决方案。在BN中，每个层的每个小批次的激活都是标准化的，详情见（Ioffe et al.，2015）。现在在神经网络中使用BN非常常见。它有助于避免参数的特殊初始化，但收敛速度更快。在提出的模型中，我们在每个卷积层之后使用BN。

4 模型选择和参数调整

首先，我们给出了数据的细节，以及提出的数据扩充方案。然后，我们给出了评估指标，并用这些指标来验证所提出的系统的性能。在此之后，训练程序已经详细说明。最后，通过分析不同的数据增强方式和不同的1D-CNN模型的结果，提出了最佳的数据增强方案和P-1D-CNN模型。

4.1. 数据集和数据增强方案

在这项工作中使用的数据集是由波恩大学的研究小组（安德泽克等人，2001）获得的，并被广泛用于癫痫检测的研究。使用标准10-20电极放置系统记录EEG信号。

完整的数据由五组（A到E）组成，每组包含100个单通道实例。A组和B组分别由五名健康志愿者在睁眼（A）和闭眼（B）的放松和清醒状态下记录的脑电图信号组成。从五名患者身上记录了C组、D组和E组。D组的脑电图信号取自致痫区。C组记录于大脑对侧半球的海马结构。C组和D组包括在无发作间期（发作间期）测量的EEG信号，而E组中的EEG信号仅在发作活动（发作期）期间记录（Andrzejak等人，2001年）。详情见表2。

此数据集中收集的实例数量不足以训练深层模型。为这个问题获取大量的脑电图信号是不现实的，由神经科专家对其进行标记也不是一项容易的任务。我们需要一个增强方案，可以帮助我们增加足够训练深度CNN模型的数据量，这需要大量训练数据才能更好地泛化。可用的脑电图数据很小，可以学习模型，但过拟合是明显的。为了克服这个问题，我们提出了两种数据增强方案来训练我们的模型。

数据集中的每条记录由4097个样本组成。为了从一条记录中生成多个样本，我们采用了与参考文献中类似的滑动窗口方法。（Sharmila等人，2016年；T.Zhang等人，2017年）。在（T.Zhang et al.，2017）中，Zhang et al.采用了512的窗口大小，步幅为480（512的93.75%）；每个记录被分割成8个相等的EEG子信号，丢弃最后的样本。通过这种方式，从100个单通道记录中为每个数据集总共获得800个数据实例，但这一数量不足以学习深度模型。然而，这种方法表明，大跨步没有帮助，小跨步可以用来创建足够的数据。基于窗口大小和步幅，我们提出了两种数据增强方案。

方案1

可用信号分为不相交的训练集和测试集，分别占总信号的90%和10%。使用训练集扩充数据。选择512的窗口大小和64的步幅（512的12.5%，重叠87.5%），训练集中长度为4097的每个信号被划分为57个子信号，每个子信号被视为独立的信号实例$S_{tr}$。 这样，每个类别（类）总共创建了5130个样本，用于训练P-ID-CNN模型。训练后的P-ID-CNN模型的n个样本用于从一个集合中提取数据。

对于测试，测试集中长度为4097的每个信号分为4个子信号$S_{ts}$, 每个长度为1024；这些子信号作为独立的信号实例进行测试。每个长度为1024的信号$S_{ts}$进一步分为三个子信号，窗口大小为512，重叠50%。这会产生3个独立的信号样本$S_{ts}^i，i=1、2、3$，每个大小为512，传递给集合中的三个经过训练的P-ID-CNN模型，并使用多数投票作为融合策略来决定信号$S_{ts}$. 集合中的每个模型都扮演着专家的角色，专家分析局部信号样本$S_{ts}$，通过融合局部决策，由集成给出全局决策。

方案2

该方法与方案1类似。在这种情况下，窗口大小为512，重叠25%（即128步），用于创建训练样本$S_{tr}$. 对于测试，每个测试信号实例??? 长度为1024的信号被分成三个子信号，窗口大小为512，重叠率为75%。这会产生5个独立的信号$S_{ts}^i，i=1、2、3、4、5$每个大小为512，传递给集合中五个经过训练的P-ID-CNN模型，并使用多数投票作为融合策略来决定信号样本$S_{ts}$。

4.2 效果评估

为了进行评估，我们采用了10倍交叉验证，以确保系统在不同的数据变化下进行测试。每个类的100个信号分为10个folds，每个folds（10%）依次用于测试，其余9个folds（90%信号）用于学习模型。平均性能计算为10倍。使用准确度、特异性、灵敏度、精密度、f-测量值和g-平均值等知名性能指标对性能进行评估。大多数最先进的癫痫治疗系统也采用了这些指标，这些指标用于评估我们的系统有助于与最先进的系统进行公平比较。以下给出了这些指标的定义：

其中TP（真阳性）是预测为异常的异常病例数（如癫痫），FN（假阴性）是预测为正常的异常病例数，TN（真阴性）是预测为正常的正常病例数，FP（假阳性）是系统识别为异常的正常病例数 。

4.2.1

训练P-1D-CNN需要从数据中学习权重参数（核）。为了学习这些参数，我们使用了具有交叉熵损失函数的传统反向传播技术和具有Adam优化器的随机梯度下降方法（Kingma等人，2014）。

Adam算法有六个超参数：学习率（0.001）、beta1（0.9）、beta2（0.999）、epsilon（0.00000001）、use locking（false）和name（Adam）；我们使用了所有这些参数的默认值（括号中给出），但学习率除外，我们将其设置为非常小的0.00002。

虽然BN通常允许较高的学习速率，但在使用Adam优化器时，需要较小的学习速率来控制网络的振荡，并避免任何局部极小问题。根据数据集的大小，使用不同的迭代次数来训练模型。在dropout中，所有实验中使用的概率值均为0.5。该模型在TensorFlow中实现，这是一个谷歌免费提供的DL库。

每个实验的迭代次数各不相同——这取决于我们在该实验中一次使用的数据集的数量。例如，如果我们使用两个数据集，即A vs E或D vs E，我们用50k次迭代训练模型；如果我们在实验中使用五个集合（即A、B、C、D或E）中的三个集合，例如AB和C，我们将最大迭代次数设置为150k。然而，如果我们使用四个或全部五个可用的信号集，我们用300k次迭代训练我们的模型 。

4.2.2 最佳模型和数据扩充方案的选择

为了选择最佳模型，我们在最初的实验中考虑了八个CNN模型，如表3所示。为了选择最佳模型，我们需要解决两个问题：

• 哪种数据增强方案最合适
• 金字塔结构是否比传统模型具有更好的泛化能力？传统模型中，随着网络越来越深，内核的数量也会增加？

为了回答这些问题，我们对所有八个模型进行了10倍交叉验证，仅对三类问题进行了深入实验：非癫痫（AB）与癫痫发作间期（CD）与癫痫发作（E），这是最具挑战性的问题。这些实验使我们选择了最佳的模型和数据扩充方案，并将其用于其他分类问题。应该注意的是，所有10倍交叉验证集都是随机创建的，强制将所有样本包括在训练（90%）和测试（10%）中。

使用数据增强方案1和2对模型进行训练和测试。模型M1到M4是使用传统的概念设计的，即随着网络的深入，在每个更高层增加K（过滤器或内核的数量），而模型M5到M8（金字塔模型）的设计采用了从course到精细细化的方法，即在这种情况下，随着网络的深入，将K（过滤器或内核的数量）减少33%。

与传统模型相比，金字塔模型涉及的参数数量较少，因此不太容易过度拟合，并具有良好的通用性。表3给出了使用不同模型和数据扩充方案的10倍交叉验证获得的平均性能结果。首先，平均精度（所有模型）及其标准偏差为96.45±0.13和95.4±0.35分别使用数据增强方案1和2；在其他指标方面也可以观察到几乎类似的结果。结果表明，增强方案1的性能优于方案2。基于这一观察，本文的所有其他实验均采用方案1。

其次，根据整体结果，可以观察到金字塔模型(M5到M8） 结果表明，两种增广方案均优于或等于传统模型的结果。此外，在大多数情况下，金字塔模型给出了最佳结果M5个神经dropout=0.5，全连接层20；20个神经元比全连接层中的40个神经元效果更好。很明显，M5是最优模型，其性能稍高或相近，但涉及的参数数量最少；与具有更多参数的模型相比，这种模型易于部署在内存有限的低成本芯片上(M1?M4)。 在所有后续实验中，我们将使用模型M5增强方案1。

5 实验部分（略）