老吴--第二阶段第二周--优化算法

mini-batch

指数加权平均:取每天的温度

前一天的权重越大,曲线越往右移

当天的温度是前几天的权重衰减加和

指数加权平均的偏差修正

动量梯度下降方法比一般梯度下降方法都快

计算梯度的加权指数平均,并利用该梯度更新权重

加快学习曲线的横向速度,减小纵向变化范围

RMsprop

 


本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部