[人工智能-深度学习-11]：神经网络基础 - 激活函数之sigmoid与多分类的神经网络模型

Posted 2021-10-19 文火冰糖的硅基工坊

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120574243

---

目录

第1章 sigmoid与二分类

第2章 sigmoid与多分类

2.1 sigmoid与独立多路分类

2.2 每一路的sigmoid输出的几何图形

2.3 Argmax：从多数输出中，选择数值最大的一路输出

2.4 多路输出

---

---

---

第1章 sigmoid与二分类

[人工智能-深度学习-10]：神经网络基础 - 激活函数之sigmoid与二元逻辑分类的神经元模型_文火冰糖（王文兵）的博客-CSDN博客[人工智能-深度学习-10]：神经网络基础 - 激活函数之sigmod与二分类https://blog.csdn.net/HiWangWenBing/article/details/120559515

第2章 sigmoid与多分类

sigmoid除了用于单分类，还可用于多分类。

2.1 sigmoid与独立多路分类

• 在上图中，由多个神经元组成一个单层（Layer1）的神经网络。
• 每个神经元都有自己独立的sigmoid函数
• 每个神经元相互独立进行预测，互不相干
• 每一路的输出值落在【0,1】区间（数值空间），但不是概率！！！
• 有可能会出现：同一个输入数据，有可能有多个接近1的sigmoid输出结果。输入9的手写数字图片，标签为9的那一路神经元的输出为0.9， 标签为6的那一路神经元的输出为0.7， 标签为7的那一路神经元的输出为0.6， 由于每一路是相互独立的，因此多个sigmoid的输出值的累加和，确实有可能大于1.

2.2 每一路的sigmoid输出的几何图形

• 每一路的输出值Yi_pred并非概率！！！
• 每一路标签采用的是OneHot编码
• 每一路的输出值Yi_pred 是【0,1】之间的数值,
• Yi - Yi_pred = 1 - Yi_pred, 反应的是Yi_pred到1的距离。

2.3 Argmax：从多数输出中，选择数值最大的一路输出

 argmax会比较所有路的输出，并选择sigmoid输出值最大的一路输出，也就是说，ArgMax会选择一个最接近标签值1的预测值作为输出。

在上图的案例中，ArgMax会选择第9路的Y9作为最终的输出，哪怕第6路的Y6与其预测值相近，与也不会出现在ArgMax的输出中。

因此ArgMax实际上是一个多录选择器，选择sigmoid输出值最大的一路作为整个神经网络的输出。

2.4 多路输出

---

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120574243