sigmod激活函数和梯度消失问题

激活函数的作用是对输出进行非线性变换 。注意激活函数的位置,它是加在卷积和全连接层后的!

梯度消失(sigmod函数会导致梯度消失)是指,梯度为零,因为梯度为零后,在反向传播过程中就不会再更新参数了!

ReLu函数会避免梯度消失。

 

 

 


本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部