版权声明:本文为博主原创文章,转载需注明出处。 https://blog.csdn.net/u013698770/article/details/57977482 resnet是用于解决什么问题的
实验结果表明,层数的增加会提高网络的学习效果。但是,实验结果也表明,如果只是单纯的增加网络的深度,网络的学习能力会下降。实验结果如下图所示:56层的学习误差比20层的学习误差还要大。因此,我们需要一种方法,使网络的深度增加的同时,学习能力也增加。
resnet是通过什么方式来解决问题的
resnet的出现就是来解决这个问题的。 一般情况下我们的网络如下图所示,相较于resnet,我们称之为plaint net,经过两个神经层之后,输出的H(x) 如下所示: H(x)=relu(w2∗(relu(w1∗x))) H(x)和x之间存在一个函数的关系,比如说这两层神经网络构成的是H(x)=2x这样的关系
但是,在残差的网络中,用F(x)=relu(w2∗(relu(w1∗x))) , 而输出的H(x)=F(x)+x ,那么,为什么要这么设置呢? Residual Net 核心思想是,去拟合残差函数 F(F=H(x)−g(x)) ,选 g(x)=x 时效果最好。 因此,F(x)=H(x)−x
--------------------- 作者:罗泽 来源: 原文:https://blog.csdn.net/u013698770/article/details/57977482 版权声明:本文为博主原创文章,转载请附上博文链接!