最速下降法牛顿法matlab实现

文章目录

• • 牛顿法
  • matlab实现
  • 参考

牛顿法

牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化。

牛顿法是收敛速度最快的方法，其缺点在于要求Hessian矩阵（二阶导数矩阵）。牛顿法与梯度法很相似，先说一下梯度法：1是求梯度，也就是斜率，梯度就是函数变化比较大的地方，取它的反方向。2是求步长，就是每一步走多远。可以这样理解，假如你站在山上的某一个位置，你想最快的下山，你是不是一步一步的走。首先在你现在这个位置确定你往那个方向走，然后再确定你走多远，到了另一个位置，是不是也要确定你的方向，然后走多远，你不可能沿着一个方向走吧。
下图已经详细的介绍了牛顿法。

matlab实现

function [min_x,min_f,k] =steepEst_3(f,x0,var,eps)
%%%f是目标函数，x0是初始点，以及自变量var和精度eps
%%%利用牛顿法计算无约束目标函数的极小值
%%%输出最小值点min_x,min_f事最小值，以及迭代次数
syms a; %创建一个符号变量
ff=sym(f);
j=jacobian(f,var);                            %计算函数的雅可比矩阵，
falg=1;                           %！！！知识点：梯度恰好是雅可比矩阵的转置；
x=x0;
k=0;                                          %计数器；
while falgg=(double(subs(j,var,x)));                %subs函数；不明白的可以去问问度娘!%意思就是让该函数的雅克比矩阵中的var变量换成初始值if norm(g,2)>eps 
%         disp()%算法停止标准；f_a=subs(ff,var,x-a*g); % 对输入的函数f的var变量换成x-a*gf_diff = simplify(diff(f_a,a));      alpha = max(double(solve(f_diff)));   %求解步长\alpha，solve用来求解解线性方程组的解析解或者精确解x=double(x-alpha*g);                  %产生新迭代点；k=k+1;elsebreakend
end
min_x=x;                                      %最优解
min_f=subs(f,var,min_x);                      %目标函数最小值。

参考

机器学习中梯度下降法和牛顿法的比较
梯度下降法和牛顿法的总结与比较

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！