最近看到一篇论文（见参考文献）详细比较了目前主要的激活函数，写的挺详细的。
主要比较了ReLU，Leaky ReLU， Randomized Leaky ReLU（PReLU），写的挺详细的。
ReLu：
Leaky ReLU：
lambda 通常在(0,1)开区间。
Randomized Leaky ReLU（PReLU）：
最后给出一张对比图：
-----------------------------EOF---------------------------
参考文献：
https://arxiv.org/pdf/1505.00853.pdf
https://zh.wikipedia.org/wiki/线性整流函数
http://blog.csdn.net/shuzfan/article/details/51345832
