Pytorch Note20 优化算法6 Adam算法
Pytorch Note20 优化算法6 Adam算法
文章目录
- Pytorch Note20 优化算法6 Adam算法
- Adam (Adaptive Moment Estimation)
- Adam 算法
- 代码从0实现
- pytorch内置优化器
全部笔记的汇总贴： Pytorch Note 快乐星球
Adam (Adaptive Moment Estimation)
Adam 是一个结合了动量法和 RMSProp 的优化算法，其结合了两者的优点，达到比RMSProp更好的效果
Adam 算法
Adam 算法会使用一个动量变量 v 和一个 RMSProp 中的梯度元素平方的移动指数加权平均 s，首先将他们全部初始化为 0，然后在每次迭代中，计算他们的移动加权平均进行更新
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！