神经网络和Deep Learning

Posted 见贤思小齐,知足常乐呵

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了神经网络和Deep Learning相关的知识,希望对你有一定的参考价值。

参考资料:

在线免费书籍 http://neuralnetworksanddeeplearning.com/chap1.html


 Chapter 1

1.  perceptron 感知机

  • it\'s a device that makes decisions by weighing up evidence. Just single output.
  • inputs 0 or 1(with weights),compared to threshold, then output 0 or 1.

 其中,   ; 

  • threshold could be simplified as bias;

 其中 b= - threshold, is called bias.

  • layers:input layer,hidden layer,output layer

                        hidden layers(not input and not output)

 

 2. Sigmoid neuron

形式类似于Perceptron, 但是输入输出的值略有变化。这样微小的权重变化,不会引起大的output变化;而Perceptron无法保证。

(small changes Δwj in the weights and Δb in the bias will produce a small change Δoutput in the output from the neuron

  • input :   [0,1] 
  • output:  =, 其中σ 为sigmoid函数,作用于output.

 

 

 

 

 

 

 

以上是关于神经网络和Deep Learning的主要内容,如果未能解决你的问题,请参考以下文章

Deep Learning综述[下]

Deep Learning 第九章 卷积神经网络

[Deep-Learning-with-Python]神经网络的数学基础

Deep Learning学习 之 卷积神经网络(文字识别系统LeNet-5)

Deep Learning论文笔记之CNN卷积神经网络推导和实现(转)

开始学习深度学习和循环神经网络Some starting points for deep learning and RNNs