机器学习——矩阵和线性代数相关知识总结

方阵行列式

计算：$n$阶方阵的行列式等于它的任一行（或列）的各元素与其对应的代数余子式乘积之和。

代数余子式

余子式：在一个$n$阶行列式$A$中，把$(\mathrm{i},\mathrm{j})$元素 a i j a_{ij} aij​所在的第$i$行和第$j$列划去后，留下的$n-1$阶方阵的行列式叫做元素 a i j a_{ij} aij​的余子式，记做 M i j M_{ij} Mij​。

代数余子式： A i j = ( − 1 ) i + j M i j A_{i j}=(-1)^{i+j} M_{i j} Aij​=(−1)i+jMij​

行列式的计算：
A = ( a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ) ∀ 1 ≤ i ≤ n , ∣ A ∣ = ∑ j = 1 n a i j ⋅ ( − 1 ) i + j M i j A=\left(\begin{array}{lll}{a_{11}} & {a_{12}} & {a_{13}} \\ {a_{21}} & {a_{22}} & {a_{23}} \\ {a_{31}} & {a_{32}} & {a_{33}}\end{array}\right) \quad \forall 1 \leq i \leq n,|A|=\sum_{j=1}^{n} a_{i j} \cdot(-1)^{i+j} M_{i j} A=⎝⎛​a11​a21​a31​​a12​a22​a32​​a13​a23​a33​​⎠⎞​∀1≤i≤n,∣A∣=∑j=1n​aij​⋅(−1)i+jMij​

伴随矩阵：对于$n\times n$方阵的任意元素 a i j a_{ij} aij​的代数余子式 A i j A_{ij} Aij​构成的方阵 A ∗ A^* A∗。
A ∗ = ( A 11 A 21 ⋯ A n 1 A 12 A 22 ⋯ A n 2 ⋮ ⋮ ⋱ ⋮ A 1 n A 2 n ⋯ A n n ) A^{*}=\left(\begin{array}{cccc}{A_{11}} & {A_{21}} & {\cdots} & {A_{n 1}} \\ {A_{12}} & {A_{22}} & {\cdots} & {A_{n 2}} \\ {\vdots} & {\vdots} & {\ddots} & {\vdots} \\ {A_{1 n}} & {A_{2 n}} & {\cdots} & {A_{n n}}\end{array}\right) A∗=⎝⎜⎜⎜⎛​A11​A12​⋮A1n​​A21​A22​⋮A2n​​⋯⋯⋱⋯​An1​An2​⋮Ann​​⎠⎟⎟⎟⎞​( A i j A_{ij} Aij​为矩阵 A ∗ A^* A∗的第$j$行第$i$列)

可以得到：
A ⋅ A ∗ = ( ∣ A ∣ 0 ⋯ 0 0 ∣ A ∣ ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ ∣ A ∣ ) = ∣ A ∣ ⋅ I ⇒ A − 1 = 1 ∣ A ∣ A ∗ A \cdot A^{*}=\left(\begin{array}{cccc}{|A|} & {0} & {\cdots} & {0} \\ {0} & {|A|} & {\cdots} & {0} \\ {\vdots} & {\vdots} & {\ddots} & {\vdots} \\ {0} & {0} & {\cdots} & {|A|}\end{array}\right)=|A| \cdot I \Rightarrow A^{-1}=\frac{1}{|A|} A^{*} A⋅A∗=⎝⎜⎜⎜⎛​∣A∣0⋮0​0∣A∣⋮0​⋯⋯⋱⋯​00⋮∣A∣​⎠⎟⎟⎟⎞​=∣A∣⋅I⇒A−1=∣A∣1​A∗

矩阵乘法

矩阵与矩阵相乘：$A$为$m\times s$的矩阵，$B$为$s\times n$的矩阵，那么，$C=A\times B$是$m\times n$阶的矩阵，其中， c i j = ∑ k = 1 s a i k b k j c_{i j}=\sum_{k=1}^{s} a_{i k} b_{k j} cij​=∑k=1s​aik​bkj​。

矩阵与向量相乘：$A$为$m\times n$的矩阵，$\mathbf{x}$为$n\times 1$的向量，则$A\mathbf{x}$是$m\times 1$阶的向量，记 y ⃗ = A ⋅ x ⃗ \vec{y}=A \cdot \vec{x} y ​=A⋅x 。（从$n$维到$m$维空间点的线性变换）

矩阵的秩

在$m\times n$的矩阵$A$中任取$k$行$k$列，不改变每个元素在$A$中的相对位置，得到的$k$阶方阵称为矩阵$A$的$k$阶子式。

如果矩阵$A$有一个行列式不为$0$的$r$阶子式$D$，并且其所有的$r+1$阶子式（如果存在的话）的行列式都等于$0$，那么，$D$称为矩阵$A$的最高阶非零子式，$r$称为矩阵$A$的秩，记做$R(A)=r$。

• $n\times n$的可逆矩阵，秩为$n$，称为满秩矩阵。
• 矩阵的秩等于它行（列）向量组的秩。

向量组

定义：对于由向量 ( a 1 , a 2 , … , a m ) \left(a_{1}, a_{2}, \dots, a_{m}\right) (a1​,a2​,…,am​) 组成的向量组$A$和由向量 ( b 1 , b 2 , … , b n ) \left(b_{1}, b_{2}, \dots, b_{n}\right) (b1​,b2​,…,bn​)组成的向量组$B$，$B$组能由$A$组线性表示，则称两个向量组等价，得到系数矩阵$K$：

( b 1 b 2 ⋯ b n ) = ( a 1 a 2 ⋯ a m ) ( k 11 k 12 ⋯ k 1 n k 21 k 22 ⋯ k 2 n ⋮ ⋮ ⋱ ⋮ k m 1 k m 2 ⋯ k m n ) \left.\begin{array}{lllll}{\left(b_{1} \quad b_{2}\right.} & {\cdots} & {\left.b_{n}\right)=\left(a_{1}\right.} & {a_{2}} & {\cdots} & {a_{m}}\end{array}\right)\left(\begin{array}{cccc}{k_{11}} & {k_{12}} & {\cdots} & {k_{1 n}} \\ {k_{21}} & {k_{22}} & {\cdots} &{k_{2 n}}\\ {\vdots} & {\vdots} & {\ddots} & {\vdots}\\ {k_{m 1}} & {k_{m 2}} & {\cdots} & {k_{m n}}\end{array}\right) (b1​b2​​⋯​bn​)=(a1​​a2​​⋯​am​​)⎝⎜⎜⎜⎛​k11​k21​⋮km1​​k12​k22​⋮km2​​⋯⋯⋱⋯​k1n​k2n​⋮kmn​​⎠⎟⎟⎟⎞​

正交阵

定义：若$n$阶矩阵$A$满足 A T A = I A^TA=I ATA=I，则称矩阵$A$为正交矩阵，简称正交阵。
充要条件：$A$的列（行）向量都是单位向量，且两两相交。
正交变换：$A$为正交阵，$\mathbf{x}$为向量，则$A\mathbf{x}$称为正交变换。（不改变向量长度）

特征值和特征向量

对于$n$阶矩阵$A$，若数$\lambda$和$n$维非0列向量$\mathbf{x}$满足$\mathrm{A}\mathbf{x}=\lambda \mathbf{x}$，则称$\lambda$为$A$的特征值，$\mathbf{x}$为$A$的对应特征值$\lambda$的特征向量。
$(A-\lambda I)x=0$ $|A-\lambda I|=0$
性质：

• λ 1 + λ 2 + … + λ n = a 11 + a 22 + … + a n n \lambda_{1}+\lambda_{2}+\ldots+\lambda_{n}=a_{11}+a_{22}+\ldots+a_{n n} λ1​+λ2​+…+λn​=a11​+a22​+…+ann​（对角线元素和等于特征值之和，称为矩阵的迹）
• λ 1 λ 2 … λ n = ∣ A ∣ \lambda_{1} \lambda_{2} \ldots \lambda_{n}=|\mathbf{A}| λ1​λ2​…λn​=∣A∣
• λ 2 \lambda^2 λ2是 A 2 A^2 A2的平均值（根据定义可证）
• $A$可逆时， λ − 1 \lambda^{-1} λ−1是 A − 1 A^{-1} A−1的特征值（根据定义可证）
• 若特征值 λ 1 , λ 2 , … , λ m \lambda_{1}, \lambda_{2}, \ldots,\lambda_{m} λ1​,λ2​,…,λm​各不相等，则对应的特征向量线性 u 1 , u 2 , … , u m u_{1}, u_{2}, \ldots,u_{m} u1​,u2​,…,um​线性无关。
• 实对称阵的特征值是实数，特征向量是实向量，并且正交。
• 矩阵形式： A ⋅ ( u v ) = ( λ 1 0 0 λ 2 ) ( u v ) A \cdot(u \quad v)=\left(\begin{array}{ll}{\lambda_{1}} & {0} \\ {0} & {\lambda_{2}}\end{array}\right)(u \quad v) A⋅(uv)=(λ1​0​0λ2​​)(uv)（u,v是两个特征向量）
• 合同变换： P − 1 A P = P T A P = Λ P^{-1} A P=P^{T} A P=\Lambda P−1AP=PTAP=Λ（$A$为对称阵，$P$为特征向量组成的正交矩阵，$\Lambda$为特征值组成对角阵，可以由上式证明）

矩阵和向量求导

• 向量对向量求导：
  ∂ A x ⃗ ∂ x ⃗ = A T \frac{\partial A \vec{x}}{\partial \vec{x}}=A^{T} ∂x ∂Ax ​=AT ∂ A x ⃗ ∂ x ⃗ T = A \quad\frac{\partial A \vec{x}}{\partial \vec{x}^{T}}=A ∂x T∂Ax ​=A ∂ ( x ⃗ T A ) ∂ x ⃗ = A \quad\frac{\partial\left(\vec{x}^{T} A\right)}{\partial \vec{x}}=A ∂x ∂(x TA)​=A

• 向量对标量求导：
  ∂ y ∂ x ⃗ = ∂ ( x ⃗ T ⋅ A ⋅ x ⃗ ) ∂ x ⃗ = ( A T + A ) ⋅ x ⃗ \frac{\partial y}{\partial \vec{x}}=\frac{\partial\left(\vec{x}^{T} \cdot A \cdot \vec{x}\right)}{\partial \vec{x}}=\left(A^{T}+A\right) \cdot \vec{x} ∂x ∂y​=∂x ∂(x T⋅A⋅x )​=(AT+A)⋅x

• 标量对方阵的求导：
  ∂ ∣ A ∣ ∂ A = ( A ∗ ) T = ∣ A ∣ ⋅ ( A − 1 ) T \frac{\partial|A|}{\partial A}=\left(A^{*}\right)^{T}=|A| \cdot\left(A^{-1}\right)^{T} ∂A∂∣A∣​=(A∗)T=∣A∣⋅(A−1)T

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！