PyTorch学习笔记：nn.Tanh——Tanh激活函数

Posted 2023-04-01 视觉萌新、

PyTorch学习笔记：nn.Tanh——Tanh激活函数

torch.nn.Tanh()

功能：逐元素应用Tanh函数（双曲正切）对数据进行激活，将元素调整到区间(-1,1)内

函数方程：
$$\text{Tanh}(x)=\text{tanh}(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

注意：

• 输入可以是任意尺寸的数据，输出尺寸与输入尺寸相同
• 该激活函数定义时无输入

代码案例

一般用法

import torch.nn as nn
import torch

Tanh = nn.Tanh()
x = torch.randn(10)
value = Tanh(x)
print(x)
print(value)

输出

# 输入
tensor([-0.7827, -0.3373,  0.2476, -0.5910, -1.2637,  1.0676,  1.1027, -0.8984,
        -0.0252, -0.1457])
# 数据经过Tanh激活函数之后
tensor([-0.6542, -0.3251,  0.2426, -0.5306, -0.8521,  0.7885,  0.8015, -0.7155,
        -0.0252, -0.1447])

注：绘图程序

import torch.nn as nn
import torch
import numpy as np
import matplotlib.pyplot as plt

Tanh = nn.Tanh()
x = torch.from_numpy(np.linspace(-5,5,100))
value = Tanh(x)
plt.plot(x, value)
plt.savefig('Tanh.jpg')

官方文档

nn.Tanh()：https://pytorch.org/docs/stable/generated/torch.nn.Tanh.html#torch.nn.Tanh

初步完稿于：2022年2月16日

tensorflow tanh应用

1、tanh（）函数

tanh是双曲函数中的一个，tanh()为双曲正切。

 

双曲正切函数的导数公式：

 

 

2、tensorflow tanh（）例子

import tensorflow as tf

input=tf.constant([1,2,3,4],dtype=tf.float32)
#在tensorflow1.2中tf.nn.tanh和tf.tanh都可以
#output=tf.nn.tanh(input)
output=tf.tanh(input)
with tf.Session() as sess:
    print(sess.run(output))
    sess.close()

输出结果：

[ 0.76159418  0.96402758  0.99505472  0.99932921]