残差网络（ResNet）解决梯度消失问题
一、 引言
残差网络（ResNet）是何凯明在2015年提出的。可以说该网络模型的提出是CNN图像史上的里程碑事件。它解决了当时传统CNN网络发展所遇到的瓶颈——网络深度问题。当时，人们普遍认为网络的深度越深，网络的效果会越好。但是随着人们的研究发现，更深的网络居然会使得网络效果变差，这也就是网络的退化，而梯度消失则是导致网络退化的一个重要因素。何凯明提出的ResNet正是解决了问题，将14年VGG的19层网络提高到了ResNet惊人的152层，并且获得了更好的网络效果。
二、梯度消失：
当一个深层网络的激活函数全部采用sigmod函数时，会导致梯度消失的出现。可以从数学角度计算一下为什么会出现梯度消失（非严格证明）。
假设一个最简单的网络，如图。
其中， X i X_{i} Xi， X i + 1 X_{i+1} Xi+1
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！