5-12日记录

Posted 2020-12-19 bluebluesea

1.双曲正切函数 tanh

https://www.jiqizhixin.com/graph/technologies/9e8895bd-d540-43c0-8dc6-dc9e24e6bfd7，这个讲的挺全面的。

https://www.cnblogs.com/charlesblc/p/8660733.html

原来也就是tanh函数啊，tan是正切的表示。 

 

双曲正切函数是双曲函数的一种，它也是双曲正弦函数（sinh）与双曲余弦函数（cosh）的商。

 

 对应的函数图像：

 

 值域为(-1,1)。作为激活函数：“在特征相差明显时的效果会很好，在循环过程中会不断扩大特征效果”。这个结论从哪里来？因该是2011年的那篇专门研究的论文，但是具体使用的时候我还没体会过它的差别。它也会有梯度消失的情况，并且看公式里有幂运算，所以就计算速度慢，收敛速度慢。