分类预测 | MATLAB实现CNN-GRU-Attention多输入分类预测

Posted 2023-04-06 机器学习之心

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了分类预测 | MATLAB实现CNN-GRU-Attention多输入分类预测相关的知识，希望对你有一定的参考价值。

分类预测 | MATLAB实现CNN-GRU-Attention多输入分类预测

分类效果

模型描述

Matlab实现CNN-GRU-Attention多变量分类预测
1.data为数据集，格式为excel，12个输入特征，输出四个类别；
2.MainCNN-GRU-AttentionNC.m为主程序文件，运行即可；

注意程序和数据放在一个文件夹，运行环境为Matlab200b及以上。
4.注意力机制模块：
SEBlock（Squeeze-and-Excitation Block）是一种聚焦于通道维度而提出一种新的结构单元，为模型添加了通道注意力机制，该机制通过添加各个特征通道的重要程度的权重，针对不同的任务增强或者抑制对应的通道，以此来提取有用的特征。该模块的内部操作流程如图，总体分为三步：首先是Squeeze 压缩操作，对空间维度的特征进行压缩，保持特征通道数量不变。融合全局信息即全局池化，并将每个二维特征通道转换为实数。实数计算公式如公式所示。该实数由k个通道得到的特征之和除以空间维度的值而得，空间维数为H*W。其次是Excitation激励操作，它由两层全连接层和Sigmoid函数组成。如公式所示，s为激励操作的输出，σ为激活函数sigmoid，W2和W1分别是两个完全连接层的相应参数，δ是激活函数ReLU，对特征先降维再升维。最后是Reweight操作，对之前的输入特征进行逐通道加权，完成原始特征在各通道上的重新分配。

程序设计

完整程序和数据获取方式1：同等价值程序兑换；
完整程序和数据获取方式2：私信博主获取。

%%  数据平铺
%   将数据平铺成1维数据只是一种处理方式
%   也可以平铺成2维数据，以及3维数据，需要修改对应模型结构
%   但是应该始终和输入层数据结构保持一致
p_train =  double(reshape(P_train, 15, 1, 1, M));
p_test  =  double(reshape(P_test , 15, 1, 1, N));
%-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- 
%%  构造网络结构
layers = [
 imageInputLayer([15, 1, 1])             % 输入层
 
 convolution2dLayer([2, 1], 16)          % 卷积核大小为2*1 生成16个卷积
 batchNormalizationLayer                 % 批归一化层
 reluLayer                               % relu激活层
 
 maxPooling2dLayer([2, 1], 'Stride', 1)  % 最大池化层 大小为2*1 步长为2
 
 convolution2dLayer([2, 1], 32)          % 卷积核大小为2*1 生成32个卷积
 batchNormalizationLayer                 % 批归一化层
 reluLayer                               % relu激活层
 
 maxPooling2dLayer([2, 1], 'Stride', 1)  % 最大池化层，大小为2*2，步长为2

 fullyConnectedLayer(4)                  % 全连接层（类别数） 
 softmaxLayer                            % 损失函数层
 classificationLayer];                   % 分类层
%--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
%%  创建网络
layers = [ ...
  sequenceInputLayer(12)               % 输入层
  
  gruLayer(6, 'OutputMode', 'last')    % GRU层
  reluLayer                            % Relu激活层
  
  fullyConnectedLayer(4)               % 全连接层
  softmaxLayer                         % 分类层
  classificationLayer];

%%  参数设置
options = trainingOptions('adam', ...       % Adam 梯度下降算法
    'MiniBatchSize', 100, ...               % 批大小
    'MaxEpochs', 1000, ...                  % 最大迭代次数
    'InitialLearnRate', 1e-2, ...           % 初始学习率
    'LearnRateSchedule', 'piecewise', ...   % 学习率下降
    'LearnRateDropFactor', 0.1, ...         % 学习率下降因子
    'LearnRateDropPeriod', 700, ...         % 经过700次训练后 学习率为 0.01 * 0.1
    'Shuffle', 'every-epoch', ...           % 每次训练打乱数据集
    'ValidationPatience', Inf, ...          % 关闭验证
    'Plots', 'training-progress', ...       % 画出曲线
    'Verbose', false);
%--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
%%  训练模型
net = trainNetwork(p_train, t_train, layers, options);

参考资料

[1] https://blog.csdn.net/kjm13182345320/article/details/129943065?spm=1001.2014.3001.5501
[2] https://blog.csdn.net/kjm13182345320/article/details/129919734?spm=1001.2014.3001.5501