机器学习---数学基础加强（3）矩阵与线性代数

矩阵

线性代数是可用的

前言：SVD：奇异值分解

奇异值分解是一种重要的矩阵分解方法，可以看做对称仿真在任意矩阵上的推广。假设一个A矩阵是一个m×n阶的实矩阵，则存在一个分解使得：
A m × n = U m × m ∑ m × n V n × n T A_{m\times n}=U_{m\times m}\sum\nolimits_{m\times n}V_{n\times n}^T Am×n​=Um×m​∑m×n​Vn×nT​
我们通常将奇异值由大到小排列，这样$\sum$就能由A唯一确定了。
与特征值、特征向量的概念相对的：

• $\sum$对角线上的元素称为矩阵A的奇异值
• U的第i列称为A的关于 σ i \sigma_i σi​的左奇异向量
• V的第i列称为A的关于 σ i \sigma_i σi​的右奇异向量
• U和V都为单位正交矩阵： U T U = I U^TU=I UTU=I， V T V = I V^TV=I VTV=I

代数余子式，余子式，余子项

将一个n阶行列式A中，第（i,j）个元素所在的第i行，第j列划去后，留下的n-1阶仿真的行列式叫做 a i j a_{ij} aij​的余子式计作 M i j M_{ij} Mij​。

代数余子式： A i j = ( − 1 ) i + j M i j A_{ij}=\left(-1\right)^{i+j}M_{ij} Aij​=(−1)i+jMij​

余子项： a i j a_{ij} aij​

范德蒙行列式Vandermonde

D n = ∣ 1 1 1 1 x 1 x 2 x 3 x n ⋮ ⋮ ⋮ ⋮ x 1 n − 1 x 2 n − 1 x 3 n − 1 x n n − 1 ∣ = ∏ i , j ( n ≥ i ≥ j ≥ 1 ) ( x i − x j ) D_n=\begin{vmatrix}1&1&1&1\\x_1&x_2&x_3&x_n\\\vdots&\vdots&\vdots&\vdots\\x_1^{n-1}&x_2^{n-1}&x_3^{n-1}&x_n^{n-1}\end{vmatrix}=\prod_{i,j\left(n\geq i\geq j\geq1\right)}\left(x_i-x_j\right) Dn​=∣∣∣∣∣∣∣∣∣​1x1​⋮x1n−1​​1x2​⋮x2n−1​​1x3​⋮x3n−1​​1xn​⋮xnn−1​​∣∣∣∣∣∣∣∣∣​=i,j(n≥i≥j≥1)∏​(xi​−xj​)

矩阵的乘法

当一个m×n矩阵乘以一个n×1的向量相乘，由于n维的列向量和n维空间的点一一对应，所以矩阵乘以向量可以看做将一个n维空间的点线性转换到m维空间点的线性变换。

如果m=n则是完成了n维空间内的线性变换。

矩阵的秩

矩阵秩的性质：

• 矩阵的秩等于它行（列）向量组的秩

• 对于n元线性方程组$Ax=b$

  • 无解的充要条件为R(A)
  • 有唯一解的充要条件是R(A)=R(A,b)=n
  • 有无限多解的充要条件为R(A)=R(A,b)

正交阵

若n阶矩阵A满足 A T A = I A^TA=I ATA=I，则称A为正交矩阵，简称正交阵。A的列向量与行向量都是单位向量，且两两相交。

特征值与特征向量

A是n阶矩阵，若数$\lambda$和n维非0列向量x满足$Ax=\lambda x$，那么称数字$\lambda$为A的特征值，x称为A的对应于特征值$\lambda$的特征向量。

可以这样理解一个特征向量，对于一个向量y，将其进行线性变化后，其方向依然沿着某条直线，但是其长短与方向已经改变。也就是说在进行变化后，该向量变为$\lambda y$。

• 矩阵A主行列式的元素和，称作矩阵A的迹
• 不同特征值对应的特征向量。设置 λ 1 \lambda_1 λ1​, λ 2 \lambda_2 λ2​… λ m \lambda_m λm​是方阵A的m个特征值， p 1 p_1 p1​, p 2 p_2 p2​… p n p_n pn​为与之对应的特征向量，如果 λ 1 \lambda_1 λ1​, λ 2 \lambda_2 λ2​… λ m \lambda_m λm​各不相等，则 p 1 p_1 p1​, p 2 p_2 p2​… p m p_m pm​线性无关。
• 实对称阵的特征向量可以取实向量 ，实对称阵的两个不同特征值的特征向量正交。

合同变换

设A为n阶对称阵，则必有正交阵P使得
P − 1 A P = P T A P = Λ P^{-1}AP=P^TAP=\Lambda P−1AP=PTAP=Λ

• $\Lambda$是以A的n个特征值为对角元的对角阵
• 该变换为“合同变化”，A和$\Lambda$互为合同矩阵，

正定阵

1、对于N阶方阵A，若任意n阶向量x，都有 x T A x > 0 x^TAx>0 xTAx>0则称A是正定阵

2、 对于任意的m×n的矩阵A， A T A A^TA ATA一定是半正定矩阵。

标准正交基

QR分解

对于m×n的列满秩矩阵A，必有：
A m × n = Q m × n ∗ R m × n A_{m\times n}=Q_{m\times n}* R_{m\times n} Am×n​=Qm×n​∗Rm×n​
其中， Q T Q = I Q^TQ=I QTQ=I（正交矩阵），R为非奇异矩阵（满秩），当要求R的对角线元素为正时，该分解唯一。

矩阵求导

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！