70行代码实现深度神经网络算法

Posted 深度学习与机器视觉

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了70行代码实现深度神经网络算法相关的知识,希望对你有一定的参考价值。

神经网络的计算过程

1、输入层开始,逐层往前直到输出层产生结果。

2、如果结果值和目标值有差距,再从右往左算。

3、逐层向后计算每个节点的误差,并且调整每个节点的所有权重。

4、反向到达输入层后,又重新向前计算。

5、重复迭代以上步骤,直到所有权重参数收敛到一个合理值。

       由于计算机程序求解方程参数和数学求法不一样,一般是先随机选取参数,然后不断调整参数减少误差直到逼近正确值,所以大部分的机器学习都是在不断迭代训练。

多层神经网络完整程序实现

        下面的实现程序BpDeep.java可以直接拿去使用,也很容易修改为C、C#、Python等其他任何语言实现,因为都是使用的基本语句,没有用到其他Java库(除了Random函数)。


import java.util.Random;
public class BpDeep
{
   public double[][] layer;//神经网络各层节点    public double[][] layerErr;//神经网络各节点误差    public double[][][] layer_weight;//各层节点权重    public double[][][] layer_weight_delta;//各层节点权重动量    public double mobp;//动量系数    public double rate;//学习系数    public BpDeep(int[] layernum, double rate, double mobp)
   {
       this.mobp = mobp;
       this.rate = rate;        layer = new double[layernum.length][];        layerErr = new double[layernum.length][];        layer_weight = new double[layernum.length][][];        layer_weight_delta = new double[layernum.length][][];        Random random = new Random();
       for(int l=0;l<layernum.length;l++)
       {            layer[l]=new double[layernum[l]];            layerErr[l]=new double[layernum[l]];
           if(l+1<layernum.length)
           {                layer_weight[l]=new double[layernum[l]+1][layernum[l+1]];                layer_weight_delta[l]=new double[layernum[l]+1][layernum[l+1]];
               for(int j=0;j<layernum[l]+1;j++)
                   for(int i=0;i<layernum[l+1];i++)                      layer_weight[l][j][i]=random.nextDouble();//随机初始化权重            }        }    }
                   
   //逐层向前计算输出    public double[] computeOut(double[] in)
   {
       for(int l=1;l<layer.length;l++)
       {
          for(int j=0;j<layer[l].length;j++)
          {
              double z=layer_weight[l-1][layer[l-1].length][j];
              for(int i=0;i<layer[l-1].length;i++)
              {                    layer[l-1][i]=l==1?in[i]:layer[l-1][i];                    z+=layer_weight[l-1][i][j]*layer[l-1][i];                }                layer[l][j]=1/(1+Math.exp(-z));           }        }
       return layer[layer.length-1];    }
       
   //逐层反向计算误差并修改权重    public void updateWeight(double[] tar)
   {
      int l=layer.length-1;        
      for(int j=0;j<layerErr[l].length;j++)          layerErr[l][j]=layer[l][j]*(1-layer[l][j])*(tar[j]-layer[l][j]);
          while(l-->0)
          {            
              for(int j=0;j<layerErr[l].length;j++)
              {                
                  double z = 0.0;                
                  for(int i=0;i<layerErr[l+1].length;i++)
                  {                      z=z+l>0?layerErr[l+1][i]*layer_weight[l][j][i]:0;                      layer_weight_delta[l][j][i]= mobp*layer_weight_delta[l][j][i]+rate*layerErr[l+1][i]*layer[l][j];//隐含层动量调整                      layer_weight[l][j][i]+=layer_weight_delta[l][j][i];//隐含层权重调整                      if(j==layerErr[l].length-1)
                     {                         layer_weight_delta[l][j+1][i]= mobp*layer_weight_delta[l][j+1][i]+rate*layerErr[l+1][i];//截距动量调整                         layer_weight[l][j+1][i]+=layer_weight_delta[l][j+1][i];//截距权重调整                      }                   }                   layerErr[l][j]=z*layer[l][j]*(1-layer[l][j]);//记录误差               }            }    }    
   
   public void train(double[] in, double[] tar)
   {        
       double[] out = computeOut(in);        updateWeight(tar);    } }

作者简介:彭渊,在Java技术领域从业十多年,曾撰写多款开源软件,历任淘宝高级专家和华为中间件首席架构师。开源代表作有Fourinone(四不像)分布式核心技术框架、CoolHash并行数据库引擎等,曾出版书籍《大规模分布式系统架构与设计实战》。

http://www.tuicool.com/articles/MfYjQfV

以上是关于70行代码实现深度神经网络算法的主要内容,如果未能解决你的问题,请参考以下文章

如何用70行Java代码实现深度神经网络算法

浅谈网络爬虫中广度优先算法和代码实现

浅谈网络爬虫中深度优先算法和简单代码实现

深度强化学习-DDPG算法原理与代码

深度学习框架之Caffe源码解析

在 PyTorch 上跑 GAN 只需要 50 行代码,不试试?