深度学习中常用的优化方法
一、basic algorithm
1. SGD
此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent的具体区别就不细说了。现在的SGD一般都指mini-batch gradient descent。
2. Momentum（SGD + momentum）
3. Nesterov Momentum
二、adaptive learning rate
1. AdaGrad
2. RMSprop
3. Adam
三、Approximate Second-Order Methods
1. Newton's Method
2. Conjugate Gradients
3. BFGS
详细介绍待补充
转载于:https://www.cnblogs.com/zihaowang/p/7856976.html
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！