[人工智能] 基于神经元特性的径向基函数神经网络自组织设计方法

摘要 : 针对径向基神经函数 (RBF) 网络隐层结构难以确定的问题 , 本文介绍了一种基于神经元特性的 RBF神经网络自组织设计方法 , 该方法将神经元的激活活性、显著性、相关性相结合设计 BF(ASC–RBF) 神经网络 . 首先利用神经元的激活活性 , 实现隐含层神经元的自适应增加 , 结合神经元的显著性以及神经元之间的相关性 , 实现神经元的自适应替换和合并 , 完成网络自组织设计并提高网络的紧凑性 , 然后利用二阶梯度算法对网络参数进行修正学习 , 保证了 RBF 网络的精度 ; 另外 , 针对网络结构自组织机制给出了稳定性分析 ; 最后通过两个基准非线性系统建模仿真实验以及实际污水处理过程水质参数预测实验验证 , 证明该算法的有效性 . 对比实验结果表明 , ASC–RBF神经网络与现有的自组织网络相比 , 在保证泛化性能的同时 , 该网络的训练速度更快 , 而且有更紧凑的网络结构 .

径向基函数(radial basis function, RBF)神经网络因其结构简单、逼近能力强, 以及收敛速度快、不易陷入局部极小值等优点, 在模式识别[1–2]、信号处理[3]、故障诊断[4–5]、非线性系统建模[6–7]与自适应控制[8–10] 等方面得到了广泛的应用. RBF神经网络结构设计和参数优化是其成功应用的关键. 随着RBF网络应用环境复杂性的提高, 传统的通过经验法和试凑法[11–12]来确定RBF网络结构的方法已经不能满足其实际应用. 为了寻求一个可以根据处理对象自适应调整的RBF 神经网络, 大量的文章[13–22]对网络结构的自组织设计进行了深入的研究, 主要包括: 增长法[13]、修剪法[14]、增长–修剪法[15–22]、智能寻优法[23–25]等. Platt等人[13]提出一种增长型资源分配网络模型 (resource allocation network, RAN), 可以根据处理的对象, 通过隐含层神经元的连续生长构建网络结构, 达到处理复杂信息的目的. 它对RBF神经网络自组织的发展做出了巨大贡献, 但是对于RAN, 网络结构只增不减, 网络中必然会出现冗余的神经元, 这会影响网络的泛化性能. 为了解决冗余神经元的问题, 在RAN 的基础上, Lu等人[15]提出了一种最小资源神经网络模型(minimal resource allocation network, MRAN), 在自适应增加隐含层神经元的同时, 还通过每个神经元对整个网络输出的贡献对神经元进行修剪, 以减少 RBF神经网络的复杂度, 但是MRAN增加隐节点时具有一定的盲目性, 新增加的隐节点的核函数中心随机确定, 对网络的泛化性能会有一定影响. Huang等人[16]提出了一种广义增长和剪枝的RBF网络模型 (generalized growing and pruning radial basis function, GGAP–RBF), 该模型是在GAP–RBF[[17]模型的基础上提出的一个更高级的模型. GGAP–RBF通过顺序学习的方法判断隐含层神经元的重要性, 并将其与学习精度联系起来, 从而构建神经网络结构, 得到的网络较为紧凑. 但是该网络的参数学习算法收敛速度慢, 会影响整个网络的收敛速度. 杜大军等人[18]提出利用一种快速回归算法来确定RBF神经网络的结构和中心, 尽管该方法收敛速度快, 但是无法避免局部极小值. Han等人[19]提出一种自组织RBF神经网络, 该网络根据RBF神经元径向作用范围和要求的稳定误差, 对隐含层神经元进行自适应增加和删减. 但是该算法涉及参数过多, 这会增加网络设计的复杂度. Hao等人[20]提出一种基于误差校正算法的RBF神经网络, 根据消除误差的思想设定新增加的RBF神经元参数. Qiao等人[21]提出一种基于神经元活动增量的RBF网络, 网络的隐含层结构根据局部场势和平均发射率来计算神经元活动并在其基础上动态构建. 以上两个网络都利用二阶算法保证了收敛速度且避免了局部极值问题, 但是结构设计过程中没有神经元删减环节, 当网络增加到一定程度, 有可能存在冗余神经元. Xie 等人[22]提出了一种基于神经元自适应分离合并的网络结构自组织设计算法, 但是该算法要先根据历史数据对中心进行初始化, 而在实际应用有可能会因为历史数据和当前数据差异过大影响网络的性能. RBF神经网络结构确定又可以看成是网络神经元个数的寻优, 因此有很多文献利用智能寻优算法确定网络结构, 如粒子群算法[23]、人工蜂群算法[24]、万有引力所搜算法[25]等, 但是这些方法都太过耗时. 根据以上的分析, 目前RBF神经网络设计仍然是一个开放性的具有挑战的问题. 为了获得结构和性能俱佳的RBF神经网络, 本文提出一种基于神经元特性的网络结构自组织算法. 首先利用神经元激活活性, 实现隐含层神经元的自适应增加, 将神经元激活活性与其显著性以及神经元之间的相关性结合, 实现神经元的自适应合并和替换, 确保可以获得紧凑的神经网络结构; 在实现网络结构自组织设计的同时, 确定网络的初始参数, 然后利用二阶梯度学习算法对网络参数进行修正, 并对网络的结构稳定性给出了证明. 最后通过非线性动态系统辨识、Mackey-Glass时间序列预测以及实际应用中污水处理过程的出水生化需氧量(biochemical oxygen demand, BOD)浓度预测实验验证, 证明了该方法的有效性.

基于类脑模块化神经网络的污水处理过程关键出水参数软测量_蒙西_乔俊飞_韩红桂

[人工智能]基于神经元特性的径向基函数神经网络自组织设计方法