什么是指数加权平均、偏差修正？
指数加权平均
在深度学习优化算法中，例如Momentum、RMSprop、Adam，都提到了一个概念，指数加权平均，看了Andrew Ng的深度学习课程后，总结一下什么是指数加权平均。
式中v_t可近似代表1/(1-β)个θ的平均值。
偏差修正
由以上证明可以看出，每个最新数据值，依赖于以前的数据结果。
一般令第一个数值为0，即v0=0；但此时初期的几个计算结果就会与真实的平均值有较大偏差，具体如下：
有了指数加权平均、偏差修正的基础，就可以研究一下深度学习中优化算法的实现原理了。
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！