略。
tanh: 双曲正切函数. sinh: 双曲正弦函数. cosh: 双曲余弦函数. tanh x = sinh x cosh x = e x − e − x e x + e − x \tanh x=\frac {\sinh x}{\cosh x}=\frac{e^x-e^{-x}}{e^x+e^{-x}} tanhx=coshxsinhx=ex+e−xex−e−x
图1-1 tanh 图像, 值域为[-1,+1] 一些经过的点: (2,0.964)
其导数, ( tanh x ) ′ = 1 − tanh 2 x (\tanh x)'=1-\tanh ^2x (tanhx)′=1−tanh2x, 它有一个很好的性质, 它的导数包含了原函数的值, 所以多次求导的时候, 只需要预先算一次, 后面可以重复利用.
sigmoid, 名为S型函数. 它是一类函数，但通常指代standard logistic distribution分布。 f ( x ) = 1 1 + e − x f(x)=\frac 1 {1+e^{-x}} f(x)=1+e−x1 f ′ ( x ) = f ( x ) ( 1 − f ( x ) ) f'(x)=f(x)(1-f(x)) f′(x)=f(x)(1−f(x))
图1-2 Standard logistic sigmoid function 值域为[0,1] 一些经过的点: { ( 0 , 0.5 ) , ( − 3 , 0.04 ) } \{(0, 0.5), (-3, 0.04)\} {(0,0.5),(−3,0.04)}
讨论 仅当x在0附近时，f(x)才对输入强烈敏感，sigmoid 这一广泛饱和性会使得基于梯度的学习变得困难，所以通常不鼓励将它们用作前馈网络中的隐藏单元。
wikipedia:Softmax_function 将K维向量 z \mathbf z z, 映射到一个新的K维向量 σ ( z ) \sigma (\mathbf z) σ(z)上, 每个元素的值都 ∈ ( 0 , 1 ) \in (0,1) ∈(0,1), 且加起来等于1, 且映射前后元素间的相对大小保持不变. 公式为 σ ( z ) j = e z j ∑ k = 1 K e z k (2-1) \sigma (z)_j=\frac{e^{z_j}}{\sum_{k=1}^K e^{z_k} } \tag {2-1} σ(z)j=∑k=1Kezkezj(2-1) σ ( z ) j \sigma (z)_j σ(z)j 表示新向量的第 j 个元素, z j z_j zj 表示原向量的第 j 个元素. 在 numpy 中没有现成的函数, 可以自己实现:
def softmax(a): """ sample: :param a: [1,2] :return: [ 0.26894142 0.73105858] """ return np.exp(a)/np.sum(np.exp(a))一般与交叉熵损失函数搭配, 用于二分类, 多分类。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X46kBQCh-1609900941179)(https://gss1.bdstatic.com/9vo3dSag_xI4khGkpoWK1HF6hhy/baike/w=268;g=0/sign=1be1f07403d162d985ee651a29e4ced1/6d81800a19d8bc3ea8dcb87a8b8ba61ea9d345ad.jpg)] 图3-1 符号函数， 值映射为{-1,+1}
The Rectified Linear Unit, 修正线性单元. 函数为 f ( x ) = m a x ( 0 , x ) f(x)=max(0,x) f(x)=max(0,x)
ReLu作为激活函数的优势是它在生物上的合理性，它是单边的，相比sigmoid和tanh，更符合生物神经元的特征。
Parametric Rectified Linear Unit. f ( x ) = { x , x>0 a x , x<0 f(x) = \begin{cases} x, & \text{x>0} \\ ax, & \text{x<0} \end{cases} f(x)={x,ax,x>0x<0 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BGnXw2Ek-1609900941183)(https://qph.ec.quoracdn.net/main-qimg-c53738b46b0b4a46bb6253d874779cb3)]
