LAR（最小角回归）算法原理和示意图

• LAR算法原理描述
• LAR算法原理示例图

LAR算法原理描述

LAR（Least Angle Regression）算法：

对于一个参数线性化（linear-in-the-parameters）模型，其回归目标向量为若干组回归变量乘以系数的线性组合，通过逐步选择特征向量，每次选择一个特征向量来作为模型的回归变量，最终使得与所有回归变量的相关性均相同且最大的残差向量最小。

此算法的关键在于回归变量的选择顺序和其系数的计算规则。

具体步骤：
（解析角度）
1）选择与初始残差（即为系统响应）相关度最大的特征向量作为回归向量，并为其选择合适的回归系数，计算当前辨识模型残差，使残差与此回归向量以及另一个与残差相关度最大的特征向量的相关度相等；
2）选择上一步中与残差相关度最大的特征向量作为第二个回归系数，并为其选择合适的回归系数，计算当前辨识模型残差，使此残差与所有回归变量以及另一个与残差相关度最大的特征向量的相关度都相等。
3）重复步骤2）继续选择下一个回归变量及其参数，直到无多余特征向量或选择的模型符合所需的残差要求。

反映到几何图像上：（几何角度）
1）选择与初始残差向量（即系统的响应向量）夹角最小的特征向量作为回归变量，然后在此向量的方向上选择合适的步长作为其回归系数，使得此时残差与回归变量以及另一个与残差夹角最小的特征向量的夹角相等，也就是说使残差位于回归变量和此与残差夹角最小的特征向量的角平分线上；
2）选择上一步中与残差夹角最小的特征向量作为第二个回归系数，并沿着上一步中的残差方向选择合适步长作为其回归参数，使得此时残差与所有回归变量以及另一个与残差夹角最小的特征向量的夹角相等，也就是说使残差位于这些回归变量和此与残差夹角最小的特征向量的角平分线上；
3）重复步骤2），继续选择下一个回归变量及其参数，直到无多余特征向量或选择的模型符合所需的残差要求。

LAR算法原理示例图

示例图如下：

以模型有三个特征向量为例：
图中三个特征向量 Φ 1 \Phi_1 Φ1​ ， Φ 2 \Phi_2 Φ2​， Φ 3 \Phi_3 Φ3​（特征向量可能是由以系统输入输出和固定的非线性参数为自变量的非线性函数构成的复杂向量）和一个系统输出向量 $y$均由实线画出。在第一步中，由于相较 Φ 2 \Phi_2 Φ2​、 Φ 3 \Phi_3 Φ3​， Φ 1 \Phi_1 Φ1​与最初的残差即系统响应$y$的相关度最高，因而被选为第一个回归变量。接着选择第二个回归变量，先选择合适的回归系数 Θ 10 \Theta_{10} Θ10​，使得 Φ 1 \Phi_1 Φ1​和 Φ 2 \Phi_2 Φ2​分别与残差 ∣ y − Θ 10 Φ 1 ∣ = ξ 10 \vert y-\Theta_{10}\Phi_1\vert=\xi_{10} ∣y−Θ10​Φ1​∣=ξ10​的相关度相同，也即 ξ 10 \xi_{10} ξ10​平分由向量 Φ 1 \Phi_1 Φ1​和 Φ 2 \Phi_2 Φ2​构成的夹角；再选择合适的回归系数 Θ 11 \Theta_{11} Θ11​，使得 Φ 1 \Phi_1 Φ1​和 Φ 3 \Phi_3 Φ3​分别与残差 ∣ y − Θ 11 Φ 1 ∣ = ξ 11 \vert y-\Theta_{11}\Phi_1\vert=\xi_{11} ∣y−Θ11​Φ1​∣=ξ11​的相关度相同，也即 ξ 11 \xi_{11} ξ11​平分由向量 Φ 1 \Phi_1 Φ1​和 Φ 3 \Phi_3 Φ3​构成的夹角；这时比较 α 0 \alpha_{0} α0​和 α 1 \alpha_{1} α1​，可知 α 0 < α 1 \alpha_{0}<\alpha_{1} α0​<α1​，也即 Φ 2 \Phi_2 Φ2​与残差的相关度在未选择的向量中最大，故选择 Θ 2 \Theta_2 Θ2​为第一个回归变量的回归系数。当此时的模型残差 ξ 10 \xi_{10} ξ10​不能满足要求，则选择 Φ 2 \Phi_2 Φ2​为第二个回归变量，再用上述方法为其选择回归系数。

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！