弹性网络 ElasticNet 坐标下降算法

弹性网络

模型

弹性网络是一种使用 L1, L2 范数作为先验正则项训练的线性回归模型。 这种组合允许学习到一个只有少量参数是非零稀疏的模型,就像 Lasso 一样,但是它仍然保持一些像 Ridge 的正则性质。我们可利用 l1_ratio 参数控制 L1 和 L2 的凸组合。

弹性网络在很多特征互相联系的情况下是非常有用的。Lasso 很可能只随机考虑这些特征中的一个,而弹性网络更倾向于选择两个。

在实践中,Lasso 和 Ridge 之间权衡的一个优势是它允许在循环过程(Under rotate)中继承 Ridge 的稳定性。

最小化的目标函数是:

minw12n||Xwy||22+αρ||w||1+α(1ρ)2||w||22 min w 1 2 n | | X w − y | | 2 2 + α ρ | | w | | 1 + α ( 1 − ρ ) 2 | | w | | 2 2

算法:

坐标下降算法(coordinate descent )


L(w)==12n||Xwy||22+αρ||w||1+α(1ρ)2||w||2212ni(j


本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部