回归预测 | MATLAB实现CNN-GRU(卷积门控循环单元)多输入单输出
基本介绍
本次运行测试环境MATLAB2020b,总体而言，CNN用作特征(融合)提取，然后将输出的feature映射为序列向量输入到GRU当中。
- 本文提出了一种基于CNN-GRU 组合神经网络的预测方法。首先，分析影响变压器运行状态的外部环境因素，构建预测特征集，量化外部环境对运行状态的影响；
- 采用卷积神经网络(Convolutional Neural Network, CNN)深度挖掘特征集与预测量的内在联系，将结果输入到GRU循环神经网络进行训练，得到预测结果。
模型结构
CNN神经网络
CNN 是一种前馈型神经网络，广泛应用于深度学习领域，主要由卷积层、池化层和全连接层组成，输入特征向量可以为多维向量组，采用局部感知和权值共享的方式。卷积层对原始数据提取特征量，深度挖掘数据的内在联系，池化层能够降低网络复杂度、减少训练参数，全连接层将处理后的数据进行合并，计算分类和回归结果。
GRU门控循环单元
GRU是LSTM的一种改进模型，将遗忘门和输入门集成为单一的更新门，同时混合了神经元状态和隐藏状态，可有效地缓解循环神经网络中“梯度消失”的问题，并能够在保持训练效果的同时减少训练参数，其门控单元结构如图所示。
CNN-GRU组合模型
CNN 神经网络由1层卷积层与1 层池化层构成，卷积方式选取same 卷积，激活函数选用elu 函数，经过卷积后进行池化，输入到GRU循环神经网络。GRU 循环神经网络对提取到的特征向量进行学习，构建2 层GRU 结构能够达到最好的预测效果，最后将全连接层的输出经过反归一化得最终预测值。在GRU 循环神经网络进行训练时，采用 Adam 算法迭代更新权重，通过动量和自适应学习率不断更新各个神经元的权重和偏差，使得损失函数的输出值达到最优.
程序设计
% 创建"CNN-GRU"模型
layers = [...
% 输入特征
sequenceInputLayer([numFeatures 1 1],'Name','input')
sequenceFoldingLayer('Name','fold')
% CNN特征提取
convolution2dLayer([FiltZise 1],32,'Padding','same','WeightsInitializer','he','Name','conv','DilationFactor',1);
batchNormalizationLayer('Name','bn')
eluLayer('Name','elu')
averagePooling2dLayer(1,'Stride',FiltZise,'Name','pool1')
% 展开层
sequenceUnfoldingLayer('Name','unfold')
% 平滑层
flattenLayer('Name','flatten')
% GRU特征学习
gruLayer(128,'Name','GRU1','RecurrentWeightsInitializer','He','InputWeightsInitializer','He')
% GRU输出
gruLayer(32,'OutputMode',"last",'Name','bil4','RecurrentWeightsInitializer','He','InputWeightsInitializer','He')
dropoutLayer(0.25,'Name','drop3')
% 全连接层
fullyConnectedLayer(numResponses,'Name','fc')
regressionLayer('Name','output') ];
layers = layerGraph(layers);
layers = connectLayers(layers,'fold/miniBatchSize','unfold/miniBatchSize');
%% CNNGRU训练选项
% 批处理样本
MiniBatchSize =24;
% 最大迭代次数
MaxEpochs = 60;
% 学习率
learningrate = 0.005;
% 一些参数调整
if gpuDeviceCount>0
mydevice = 'gpu';
else
mydevice = 'cpu';
end
options = trainingOptions( 'adam', ...
'MaxEpochs',100, ...
'GradientThreshold',1, ...
'InitialLearnRate',learningrate, ...
'LearnRateSchedule','piecewise', ...
'LearnRateDropPeriod',20, ...
'LearnRateDropFactor',0.8, ...
'L2Regularization',1e-3,...
'Verbose',false, ...
'ExecutionEnvironment',mydevice,...
'Plots','training-progress');
- 预测效果
参考资料
[1] 周湶, 孙超, 廖瑞金, 等. 基于云理论的变压器多重故障诊断及短期预测方法[J]. 高电压技术, 2014, 40(5):1453-1460.
[2] YU Zhangting, LI Dajian, JI Shengchang, et al. Research
on transformer fault diagnosis method based on vibration
noise and BP neural network[J]. High Voltage Apparatus,
2020, 56(6): 256-261.
[3] https://mianbaoduo.com/o/bread/mbd-YZ2ak5pu
致谢
- 感谢大家支持！
