线性回归基础(1) - 伪逆矩阵

多变量线性回归问题，用正规方程（最小二乘法的矩阵形式）求解，得到参数的估计值为：
w ^ ∗ = ( X T X ) − 1 X T y \hat{\boldsymbol{w}}^* = (\boldsymbol{X}^T \boldsymbol{X})^{-1}\boldsymbol{X}^T\boldsymbol{y} w^∗=(XTX)−1XTy
此式的前提是矩阵 X T X \boldsymbol{X}^T \boldsymbol{X} XTX可逆，即为非奇异矩阵。此时，可使用numpy库的函数linalg.inv进行求解

import numpy as np
A = [[1,2],[3,5]]
B = np.linalg.inv(A)

若矩阵 X T X \boldsymbol{X}^T \boldsymbol{X} XTX为奇异矩阵而不可逆时（注意， X T X \boldsymbol{X}^T \boldsymbol{X} XTX必为方阵），可求其伪逆矩阵。此时，可使用numpy库的函数linalg.pinv进行求解

import numpy as np
A = [[1,2],[3,5]]
B = np.linalg.pinv(A)

伪逆矩阵定义：奇异矩阵或非方阵的矩阵不存在逆矩阵，但可求其伪逆矩阵。对于矩阵$A$，其伪逆矩阵$X$与 A T A^T AT同型，且满足如下等式：
{ A X A = A X A X = X \begin{cases} AXA = A \\ XAX = X \end{cases} {AXA=AXAX=X​

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！