梯度下降法确定步长
梯度下降法确定步长
BY:YANG LIU
采用Line search确定步长，Line search的本质目的其实也是为了保证函数值下降(或称作不增)。
基本思想就是每次试一个步长，如果用该步长走的话，看函数值会不会比当前点下降一定的程度，如果没有，就按比例减小步长，再试，直到满足条件（根据泰勒展开式我们知道步长足够小时总会满足下降条件）。
所以line search实际上是计算量比较大的。
可能会出现之字形下降：
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！