LSTM回归预测基于matlab attention机制LSTM时间序列回归预测含Matlab源码 1992期

Posted 2022-07-20 海神之光

一、attention机制LSTM预测

1 总体框架
数字货币预测模型分为两部分，由LSTM模块和Attention模块组成。

2 LSTM模块
长短期记忆网络（LSTM）是一种特殊的递归神经网络（RNN）模型，是为了解决RNN模型梯度消失的问题而提出的。在传统的RNN模型当中，当时间跨度较长时，网络权重更新会十分缓慢。针对此问题，LSTM采用了“记忆单元”来存储记忆。下图是LSTM的简单示意图。其中，一个LSTM网络主要包括以下几部分：记忆细胞（Ct）、遗忘门（ft）、输入门（it）、输出门（Ot）。

3 Attention模块
在实际过程中，长时间序列特征的重要程度往往存在差异，而LSTM神经网络对于长时间序列输入没有区分。数字货币价格随着各种因素的变化在不断变化，不同时间点的特征对于数字货币价格预测的影响程度是不同的。在时间序列数据的处理中，Attention机制对长短期记忆网络（LSTM）输出的隐藏层向量ht进行加权求和。此处的权重大小可以理解为“不同时间点上的特征的重要程度”。其中，Hi表示第i时刻输入序列的隐藏层的状态值。然后，我们通过相似性函数Score(Hi,Hk）获取最后一个隐藏层输出Hk与其他每个时间点隐藏层输出Hi的相似度得分ei。相似性函数计算公式如下：

其中，Dot表示采用点积的方式进行计算。然后，通过公式（8）的soft-max函数可以计算出每个时间点的不同的注意力权重ai，在此基础上计算注意力权重ai与隐藏层状态的乘积，即可得到Attention层的输出向量C。

二、部分源代码

% QRLSTM
% 数据集（列为特征，行为样本数目
% QRLSTM
% 数据集（列为特征，行为样本数目
clc
clear
close all
load('./Train.mat')
%
Train(1,:) =[];
y = Train.demand;
x = Train:,3:end;
[xnorm,xopt] = mapminmax(x',0,1);
[ynorm,yopt] = mapminmax(y',0,1);
x = x';
xnorm = xnorm(:,1:1000);
ynorm = ynorm(1:1000);

k = 24;           % 滞后长度

% 转换成2-D image
for i = 1:length(ynorm)-k

    Train_xNorm(:,i,:) = xnorm(:,i:i+k-1);
    Train_yNorm(i) = ynorm(i+k-1);
    Train_y(i) = y(i+k-1);
end
Train_yNorm= Train_yNorm';



ytest = Train.demand(1001:1170);
xtest = Train1001:1170,3:end;
[xtestnorm] = mapminmax('apply', xtest',xopt);
[ytestnorm] = mapminmax('apply',ytest',yopt);
xtest = xtest';
for i = 1:length(ytestnorm)-k
    Test_xNorm(:,i,:) = xtestnorm(:,i:i+k-1);
    Test_yNorm(i) = ytestnorm(i+k-1);
    Test_y(i) = ytest(i+k-1);
end
Test_yNorm = Test_yNorm';

clear k i x y
%

%% 训练集和验证集划分
TrainSampleLength = length(Train_yNorm);
validatasize = floor(TrainSampleLength * 0.1);
Validata_xNorm = Train_xNorm(:,end - validatasize:end,:);
Validata_yNorm = Train_yNorm(:,TrainSampleLength-validatasize:end);
Validata_y = Train_y(TrainSampleLength-validatasize:end);

Train_xNorm = Train_xNorm(:,1:end-validatasize,:);
Train_yNorm = Train_yNorm(:,1:end-validatasize);
Train_y = Train_y(1:end-validatasize);
%%


[params,~] = paramsInit(numhidden_units1,inputSize,outputSize);     % 导入初始化参数

[~,validatastate] = paramsInit(numhidden_units1,inputSize,outputSize);     % 导入初始化参数
[~,TestState] = paramsInit(numhidden_units1,inputSize,outputSize);     % 导入初始化参数
% 训练相关参数
TrainOptions;
numIterationsPerEpoch = floor((TrainSampleLength-validatasize)/minibatchsize);
LearnRate = 0.01;
%% Loop over epochs.
figure
start = tic;
lineLossTrain = animatedline('color','r');
validationLoss = animatedline('color','g','Marker','o');
xlabel("Iteration")
ylabel("Loss")

% epoch 更新 
iteration = 0;
for epoch = 1 : numEpochs
   
    [~,state] = paramsInit(numhidden_units1,inputSize,outputSize);       % 每轮epoch，state初始化
    disp(['Epoch: ', int2str(epoch)])
    
    % batch 更新
    for i = 1 : numIterationsPerEpoch

        
        dlX = gpuArray(Train_xNorm(:,idx,:));
        dlY = gpuArray(Train_yNorm(idx));
        [gradients,loss,state] = dlfeval(@Model2,dlX,dlY,params,state);
        
        % L2正则化
%         L2regulationFactor = 0.000011;
%         gradients = dlupdate( @(g,parameters) L2Regulation(g,parameters,L2regulationFactor),gradients,params);
%         gradients = dlupdate(@(g) thresholdL2Norm(g, gradientThreshold),gradients);
        
        [params,averageGrad,averageSqGrad] = adamupdate(params,gradients,averageGrad,averageSqGrad,iteration,LearnRate);
        
        
        
        % 验证集测试
        if iteration == 1 || mod(iteration,validationFrequency) == 0
            output_Ynorm = ModelPredict(gpuArray(Validata_xNorm),params,validatastate);
            lossValidation = mse(output_Ynorm, gpuArray(Validata_yNorm));
        end

        
        % 作图（训练过程损失图）--------------------------********————————————————————————————————————————————————
 
    end
    
    % 每轮epoch 更新学习率
    if mod(epoch,5) == 0
        LearnRate = LearnRate * LearnRateDropFactor;
    end
end


%% 训练集
Predict_yNorm = Model2Predict(gpuArray(Train_xNorm),params,TestState);
Predict_yNorm = extractdata(Predict_yNorm);

Predict_y = mapminmax('reverse',Predict_yNorm,yopt);
%
figure
plot(Predict_y,'r');
hold on 
plot(Train_y,'g')
legend('训练集预测值','训练集实际值')
%% 验证集
Predict_yNorm = Model2Predict(gpuArray(Validata_xNorm),params,TestState);
Predict_yNorm = extractdata(Predict_yNorm);

Predict_y = mapminmax('reverse',Predict_yNorm,yopt);
%
figure
plot(Predict_y,'r');
hold on 
plot(Validata_y,'g')
legend('验证集预测值','验证集实际值')

%%  predict(测试集)
Predict_yNorm = Model2Predict(gpuArray(Test_xNorm),params,TestState);
Predict_yNorm = extractdata(Predict_yNorm);

Predict_y = mapminmax('reverse',Predict_yNorm,yopt);
%
figure
plot(Predict_y,'r');
hold on 
plot(Test_y,'g')
legend('测试集预测值','测试集实际值')

三、运行结果

四、matlab版本及参考文献

1 matlab版本
2014a

2 参考文献
[1] 万浩睿,李成林,赵开明,王睿林.基于Attention机制的LSTM数字货币预测模型[J].长江信息通信. 2022,35(05)

3 备注
简介此部分摘自互联网，仅供参考，若侵权，联系删除