2张图理解resnet核心思想

xiaoxiao2025-04-25  6

版权声明:本文为博主原创文章,转载需注明出处。    https://blog.csdn.net/u013698770/article/details/57977482 resnet是用于解决什么问题的

实验结果表明,层数的增加会提高网络的学习效果。但是,实验结果也表明,如果只是单纯的增加网络的深度,网络的学习能力会下降。实验结果如下图所示:56层的学习误差比20层的学习误差还要大。因此,我们需要一种方法,使网络的深度增加的同时,学习能力也增加。 

resnet是通过什么方式来解决问题的

resnet的出现就是来解决这个问题的。  一般情况下我们的网络如下图所示,相较于resnet,我们称之为plaint net,经过两个神经层之后,输出的H(x) 如下所示:  H(x)=relu(w2∗(relu(w1∗x)))   H(x)和x之间存在一个函数的关系,比如说这两层神经网络构成的是H(x)=2x这样的关系  

但是,在残差的网络中,用F(x)=relu(w2∗(relu(w1∗x))) ,  而输出的H(x)=F(x)+x ,那么,为什么要这么设置呢?  Residual Net 核心思想是,去拟合残差函数 F(F=H(x)−g(x)) ,选 g(x)=x  时效果最好。  因此,F(x)=H(x)−x

---------------------  作者:罗泽  来源:  原文:https://blog.csdn.net/u013698770/article/details/57977482  版权声明:本文为博主原创文章,转载请附上博文链接!

转载请注明原文地址: https://www.6miu.com/read-5029069.html

最新回复(0)