感知机的梯度推导

Posted jaysonteng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了感知机的梯度推导相关的知识,希望对你有一定的参考价值。

一、单层感知机(Perceptron)

  1、定义:多个输入直接加权求和后,得到一个输出节点,经过激活函数,得到一个值

  技术图片

  2、单层感知机求导

   技术图片

   导数结果,只与激活函数 O0  和 输入节点 x有关

  3、pytorch中实现单层感知机

  技术图片

 二、多层感知机

  技术图片

   多层感知机求导:

  技术图片

   多层感知机pytorch的实现:

  技术图片

以上是关于感知机的梯度推导的主要内容,如果未能解决你的问题,请参考以下文章

2-7 感知机对偶形式 梯度下降法的推导过程

单输出感知机及其梯度

感知机模型原理(二)

2-5 感知机 - 对偶形式 - 学习模型的推导

第六章 逻辑斯蒂回归与最大熵模型

2.感知机