参数的范数正则/惩罚(parameter norm penalties)

1. L2 范数

J~(w;X,y)=J(w;X,y)+α2wTw

J 表示的是原始的目标函数,J~ 则是二范数约束后的新的目标函数。

则根据梯度下降算法有:

  • wJ~=wJ+αw
  • wwϵwJ~=wϵ(J+αw)
  • w(1αϵ)wϵJ

转载于:https://www.cnblogs.com/mtcnn/p/9422396.html


本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部