防止过拟合的方法

防止过拟合的方法：

增加数据集 出现过拟合的情况大部分是因为数据量过少，然而神经网络太过于复杂，所以增加数据集是十分有利于防止过拟合的。正则化方法$C=C_0+\frac{\lambda }{2n}{\sum }_w{w}^2$： $C_0$就是原来的代价函数，现在我们在代价函数上增加一个正则化项$\frac{\lambda }{2n}{\sum }_w{w}^2$ ， 为何这样子会有效果呢？原因是我们在优化代价函数的时候也会减少权重w，从而那些接近于0的权重就会消失，最终在优化的过程中减少了神经元的数量，降低了网络的复杂程度。对于数据较小的情况是有利于降低过拟合的。Dropout 如下图： 在使用Dropout后，我们在训练的时候只使用部分神经元；测试的时候再使用全部神经元。这样也有利于防止过拟合。

结束线/

欢迎大家加入Q群讨论：463255841

结束线/