神经网络和Deep Learning
Posted 见贤思小齐,知足常乐呵
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了神经网络和Deep Learning相关的知识,希望对你有一定的参考价值。
参考资料:
在线免费书籍 http://neuralnetworksanddeeplearning.com/chap1.html
Chapter 1
1. perceptron 感知机
- it\'s a device that makes decisions by weighing up evidence. Just single output.
- inputs 0 or 1(with weights),compared to threshold, then output 0 or 1.
其中, ;
- threshold could be simplified as bias;
其中 b= - threshold, is called bias.
- layers:input layer,hidden layer,output layer
hidden layers(not input and not output)
2. Sigmoid neuron
形式类似于Perceptron, 但是输入输出的值略有变化。这样微小的权重变化,不会引起大的output变化;而Perceptron无法保证。
(small changes Δwj in the weights and Δb in the bias will produce a small change Δoutput in the output from the neuron)
- input : [0,1]
- output: =, 其中σ 为sigmoid函数,作用于output.
以上是关于神经网络和Deep Learning的主要内容,如果未能解决你的问题,请参考以下文章
[Deep-Learning-with-Python]神经网络的数学基础
Deep Learning学习 之 卷积神经网络(文字识别系统LeNet-5)
Deep Learning论文笔记之CNN卷积神经网络推导和实现(转)
开始学习深度学习和循环神经网络Some starting points for deep learning and RNNs