深度学习中的优化算法(Optimization)
文章目录
- 深度学习中的优化算法(Optimization)
- 1. 深度学习中的优化问题
- 2. 基于梯度的优化算法
- (1) 超参数的选择
- ① 超参数 batch size
- ② 超参数 learning rate
- ③ 选择超参数
- (2) 从不同角度理解梯度下降
- ① 动力学角度
- ② 逼近角度
- ③ 概率角度
- 3. 常用的梯度下降算法
- 4. 其他优化算法
- ⚪ [Averaging Weights Leads to Wider Optima and Better Generalization](https://0809zheng.github.io/2020/11/29/swa.html)&
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！