将 Matlab 神经网络转换为 C++ 神经网络

Posted

技术标签:

【中文标题】将 Matlab 神经网络转换为 C++ 神经网络【英文标题】：converting Matlab Neural Network into C++ Neural Network 【发布时间】：2014-01-15 03:02:30 【问题描述】：

我在 Matlab 中使用 newff 创建了一个神经网络，用于手写数字识别。

我刚刚训练它只识别图像中的 0 和 1 值。

有3层，输入层有9个神经元，隐藏层有5个神经元，输出层1神经元，有9个输入。

我的输出是 0.1 & 0.2 ，所有层的输出函数都是“tansig”。

我在 Matlab 中测试它并且网络工作正常。现在我想用 c++ 创建这个网络，我编写了代码并复制了所有的权重和偏差（总共 146 个权重）。 但是当我将相同的输入数据放入网络时，输出值不正确。

你们中的任何人都可以指导我吗？

这是我的网络代码：

here's my networks code...

public class Neuron

    public Neuron()
     
    public Neuron(int SumOfInputs)
    
        m_SumOfInputs = SumOfInputs;
    
    public double act(double[] Input, double[] weight, double bias)
    
        double tmp = bias;
        for (int i = 0; i < m_SumOfInputs; i++)
            tmp += (Input[i] * weight[i]);
        m_output = 1.0 / (1.0 + Math.Exp(-tmp));
        return m_output;
    
    public double m_output;
    private int m_SumOfInputs;
;

public class Net

    public Net()
    
        int i;
        //net1 , net2
        //initializing inputLayer Neurons
        for (i = 0; i < 9; i++)
            InputLayer[i] = new Neuron(9);
        //initializing HiddenLayer Neurons
        for (i = 0; i < 5; i++)
            HiddenLayer[i] = new Neuron(9);
        //initializing OutputLayer
        OutputLayer = new Neuron(5);
    
    public double Calculate(double[] inputs)
    
        double[] ILay_Outputs = new double[9];
        double[] HLay_Outputs = new double[5];
        //inputLayer acting
        ILay_Outputs[0] = InputLayer[0].act(inputs, IW1, Ib[0]);
        ILay_Outputs[1] = InputLayer[1].act(inputs, IW2, Ib[1]);
        ILay_Outputs[2] = InputLayer[2].act(inputs, IW3, Ib[2]);
        ILay_Outputs[3] = InputLayer[3].act(inputs, IW4, Ib[3]);
        ILay_Outputs[4] = InputLayer[4].act(inputs, IW5, Ib[4]);
        ILay_Outputs[5] = InputLayer[5].act(inputs, IW6, Ib[5]);
        ILay_Outputs[6] = InputLayer[6].act(inputs, IW7, Ib[6]);
        ILay_Outputs[7] = InputLayer[7].act(inputs, IW8, Ib[7]);
        ILay_Outputs[8] = InputLayer[8].act(inputs, IW9, Ib[8]);
        //HiddenLayer acting
        HLay_Outputs[0] = HiddenLayer[0].act(ILay_Outputs, HW1, Hb[0]);
        HLay_Outputs[1] = HiddenLayer[1].act(ILay_Outputs, HW2, Hb[1]);
        HLay_Outputs[2] = HiddenLayer[2].act(ILay_Outputs, HW3, Hb[2]);
        HLay_Outputs[3] = HiddenLayer[3].act(ILay_Outputs, HW4, Hb[3]);
        HLay_Outputs[4] = HiddenLayer[4].act(ILay_Outputs, HW5, Hb[4]);
        //OutputLayer acting
        OutputLayer.act(HLay_Outputs, OW, Ob);

        return OutputLayer.m_output;
    
    //variables
    Neuron[] InputLayer = new Neuron[9];
    Neuron[] HiddenLayer = new Neuron[5];
    Neuron OutputLayer;

    //net2 tansig tansig tansig
    double[] IW1 =  0.726312035124743, 1.01034015912570, 0.507178716484559, -0.254689455765290, 0.475299816659036, 0.0336358919735363, -0.715890843015230, 0.466632424349648, 0.565406467159982 ;
    double[] IW2 =  0.866482591050076, -0.672473224929341, 0.915599891389326, 0.310163265280920, -0.373812653648686, -0.0859927887021936, 0.0100063635393257, 0.816638798257382, -0.540771172965867 ;
    double[] IW3 =  0.138868216294952, 1.93121321568871, -0.564704445249800, 0.834275586326333, 3.08348295981989, 0.899715248285303, -0.661916798988641, 6.00562393127300, 6.11939776912678 ;
    double[] IW4 =  0.578089791487308, 0.885170493965113, -0.992514702569606, 0.415980526304333, -0.706140252063166, 0.442017877881589, -0.449053823645690, -0.0894051386719344, -0.348622179369911 ;
    double[] IW5 =  -0.407756482945129, 0.0786764402198765, 0.972408690276837, -0.959955597431701, -0.977769442966978, 1.52121267506016, 0.503296357838885, -3.31593633455649, -3.47834004737816 ;
    double[] IW6 =  -1.17474983226852, 0.870140308892922, 1.50545637070446, 0.369712493398677, -0.569857993006262, -0.732502911495791, -0.668984976457441, -1.48023312055586, -0.893472571240467 ;
    double[] IW7 =  -0.860518592120001, -1.48432158859269, 0.957060799463945, -0.680797771869510, -0.270752283410268, -0.218766920514208, 0.168091770241510, -2.50326075864844, -0.800988078966455 ;
    double[] IW8 =  0.436492138260917, 0.280081066366966, 0.484813099857825, -0.310693876078844, 1.60359045377467, 1.57343220231689, -1.21552190886612, 2.03276547165735, 1.27245062411707 ;
    double[] IW9 =  1.66853306274827, -1.59142022586958, 0.862315766588855, 0.676048095028997, -2.22623540036057, -1.48036066273542, -0.0386781503608105, -5.18214728910353, -5.21258509200432 ;

    double[] HW1 =  0.577543862468449, 0.452264642610010, -0.869014797322399, 0.122435296258077, 0.507631314535324, 0.0386430216115630, -0.398222802253669, -0.614601040619812, 1.43324133164016 ;
    double[] HW2 =  0.163344332215885, 0.434728230081814, -3.04877964757120, -0.118300732191499, -2.63220585865390, 0.443163977179405, -2.11883915836372, 2.07955461474729, -3.94441429060856 ;
    double[] HW3 =  -0.156103043064606, -0.482049683802527, 1.24788068138172, -1.05731056687422, -0.615321348655331, 0.214815967784408, 0.375762477817552, -0.728649292060764, -0.212151944122515 ;
    double[] HW4 =  1.78276088127139, 1.15086535250306, 1.25967219208841, -0.446026243031773, -3.94742837475153, -1.33311929047378, -2.09356929069216, 0.0736879745054291, 1.51472991137144 ;
    double[] HW5 =  0.744372844550077, 0.400815326319268, -4.94686055701529, 0.444773365537176, 2.65351865321717, 1.87143709824455, 1.74346707204902, -3.28220218001754, 5.78321274609173 ;

    double[] OW =  -1.09112204235009, -7.13508015318964, -1.02533926874837, 3.80439015418632, -4.16711367340349 ;

    double[] Ib =  -1.77988445077976,
                -1.37323967952292,
                -0.547465218997906,
                0.331535304175263,
                -0.0167810612906040,
                0.734128501831859,
                -0.543321122358485,
                -1.13525462762255,
                1.82870615182942;
    double[] Hb =  1.68321697741393,
                -0.862080862212137,
                -0.536310792063381,
                -0.772019935790668,
                1.51470472867250;
    double Ob = -0.156343477742835;

;

谢谢。

阿尔塔。

【问题讨论】：

没有代码就没有希望。你自己写的代码吗？您可以尝试使用更简单的网络来尝试发现问题吗？ tnx 快速回答。是的，在 C++ 中我写了一个非常简单的网络。而且我确定我在该代码中犯了一个错误。我还测试了一个 2 层网络，只是输入和输出，但也不起作用。 就这些了吗？ Net 类上没有右括号 - 顺便说一句，你有 很多 内存泄漏 - 你必须删除你的新内容。 sorry doctorlove 我听不懂“网络课没有右括号”，我的英文不好，能不能用简单点的词说一下？ 你的代码有class Net 。最后一行是double Ob = -0.156343477742835; 我希望一个类以; 结尾。你错过了什么吗？ 【参考方案1】：

您在描述中提到要使用 Tansig 激活函数，但在您的代码中，您有 Logsig 激活函数的实现。 Tansig 近似为：

2/(1+Math.Exp(-2*tmp))-1

我也不确定您如何获得输入层的权重，这些可能是隐藏层的权重吗？ Matlab 不会为输入层生成权重，因为输入直接连接到隐藏层。其中 net.IW 是第一（隐藏）层的权重，后续层（包括输出）的权重由 net.LW 给出。

除了上述之外，我在您的代码中没有看到明显的错误/错误，也许可以先尝试一个更简单的网络并训练它来处理旧的和明智的 XOR 关系。

最后，我想提一下，如果您正在为微控制器编写此代码，那么在 C 语言中不使用对象会更容易。你的代码会更小更快。 here给出了一步一步的例子。

【讨论】：

谢谢雨人。是的，我从 IW、LW 和 b 获得了权重。感谢您的建议和示例，我会记住它并在编写我的微控制器程序时使用它，知道我将阅读这个示例。再次感谢。【参考方案2】：

我发现了问题。

在matlab中，在输入到网络之前，他们都去一个.m文件名（mapminmax.m）中的函数名（applyminmax），然后这个函数输出是网络输入。

在网络上完成模拟后，输出将转到同一 .m 文件中的函数名称（反向）。 而这个函数outputs就是神经网络的最终输出。

感谢您的所有帮助。

阿尔塔。

【讨论】：

以上是关于将 Matlab 神经网络转换为 C++ 神经网络的主要内容，如果未能解决你的问题，请参考以下文章

在 C++ 中将 matlab 矩阵转换为数组的有效方法

将具有 OO 语法的 Matlab 转换为 c / c++ 而无需重写其功能

short int 到 unsigned int 转换网络字节顺序 C++

怎样将matlab中的.mat 文件转换为二进制文件,输入到c++程序中使用

从 MATLAB 生成代码后，在 C++ 中将 vector<> 转换为 emxArray_real_T

是否可以将 mex 代码转换为 C++ 代码？