Softmax函数原理及Python实现

Posted April15

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Softmax函数原理及Python实现相关的知识,希望对你有一定的参考价值。

Softmax原理


Softmax函数用于将分类结果归一化,形成一个概率分布。作用类似于二分类中的Sigmoid函数。

对于一个k维向量z,我们想把这个结果转换为一个k个类别的概率分布p(z)。softmax可以用于实现上述结果,具体计算公式为:

[softmax(x_i) = frac{exp(x_i)}{sum_j exp(x_j)} ]

对于k维向量z来说,其中(z_i in R),我们使用指数函数变换可以将元素的取值范围变换到((0, +infin)),之后我们再所有元素求和将结果缩放到[0,1],形成概率分布。

常见的其他归一化方法,如max-min、z-score方法并不能保证各个元素为正,且和为1。

Softmax性质


输入向量x加上一个常数c后求softmax结算结果不变,即:

[softmax(x) = softmax(x+c) ]

我们使用softmax(x)的第i个元素的计算来进行证明:

[softmax(x_i+c) = frac{exp(x_i+c)}{sum_jexp(x_j+c)} \= frac{exp(x_i) * exp(c)}{sum_j[exp(x_j) * exp(c)]} \=frac{exp(x_i) * exp(c)}{exp(c) * sum_j exp(x_j)} \=frac{exp(x_i)}{sum_jexp(x_j)} \= softmax(x_i) ]

函数实现


由于指数函数的放大作用过于明显,如果直接使用softmax计算公式(softmax(x_i) = frac{exp(x_i)}{sum_j exp(x_j)})进行函数实现,容易导致数据溢出(上溢)。所以我们在函数实现时利用其性质:先对输入数据进行处理,之后再利用计算公式计算。具体使得实现步骤为:

  1. 查找每个向量x的最大值c;
  2. 每个向量减去其最大值c, 得到向量y = x-c;
  3. 利用公式进行计算,softmax(x) = softmax(x-c) = softmax(y)

代码如下:

import numpy as np

def softmax(x):
    """
    softmax函数实现
    
    参数:
    x --- 一个二维矩阵, m * n,其中m表示向量个数,n表示向量维度
    
    返回:
    softmax计算结果
    """
    assert(len(X.shape) == 2)
    row_max = np.max(X, axis=axis).reshape(-1, 1)
    X -= row_max
    X_exp = np.exp(X)
    s = X_exp / np.sum(X_exp, axis=axis, keepdims=True)

    return s

测试一下:

a = [[1,2,3],[-1,-2,-3]]
b = [[1,2,3]]
c = [1,2,3]
a = np.array(a)
b = np.array(b)
c = np.array(c)

print(softmax(a))
print(softmax(b))
print(softmax(c)) # error

输出结果为:

[[ 0.09003057  0.24472847  0.66524096]
 [ 0.66524096  0.24472847  0.09003057]]
[[ 0.09003057  0.24472847  0.66524096]]
Traceback (most recent call last):
    assert(len(X.shape) == 2)
AssertionError

以上是关于Softmax函数原理及Python实现的主要内容,如果未能解决你的问题,请参考以下文章

softmax函数python实现

softmax 函数多分类原理教程

python逻辑回归(logistic regression LR) 底层代码实现 BGD梯度下降算法 softmax多分类

Softmax Regression及Python代码

Vue数据绑定原理及简单实现

原理就是这么简单 Softmax 分类