人工智能数学基础之线性代数(三)

2023-08-28 14:28:18

前言

本文只会记录人工智能中所用到的线性代数知识，并不会记录大学线性代数教材中的所有知识。

现在CSDN不能发超长的文章了，只能分成多篇发布。

人工智能数学基础之线性代数(一)
人工智能数学基础之线性代数(二)
人工智能数学基础之线性代数(三)

矩阵的逆

方阵的行列式

定义6 由 $n$ 阶方阵 $A$ 的元素所构成的行列式，称为方阵 $A$ 的行列式，记作 $∣ A ∣$ 或 $d e t A$ 。

由 $A$ 确定 $∣ A ∣$ 的这个运算满足下述运算规律(设 $A, B$ 为 $n$ 阶方阵， $\lambda$ 为数)：

$A^T|=|A|$ （行列式性质1）
$|\lambda A| = \lambda^n |A|$
$∣ A B ∣ = ∣ A ∣∣ B ∣$

行列式 $∣ A ∣$ 的各个元素的代数余子式 $A_{ij}$ 所构成的如下的矩阵（注意是转置排法）
$A^* =\begin{pmatrix} A_{11} &A_{21} & \cdots & A_{n1}\\ A_{12} &A_{22} & \cdots & A_{n2}\\ \vdots &\vdots && \vdots \\ A_{1n} &A_{2n} & \cdots & A_{nn}\\ \end{pmatrix} ,$
称为矩阵 $A$ 的伴随矩阵，简称伴随阵。

试证
$AA^* = A^*A = |A|E$
证
$AA^* =\begin{pmatrix} a_{11} &a_{12} & \cdots & a_{1n}\\ a_{21} &a_{22} & \cdots & a_{2n}\\ \vdots &\vdots && \vdots \\ a_{n1} &a_{n2} & \cdots & a_{nn}\\ \end{pmatrix} \begin{pmatrix} A_{11} &A_{21} & \cdots & A_{n1}\\ A_{12} &A_{22} & \cdots & A_{n2}\\ \vdots &\vdots && \vdots \\ A_{1n} &A_{2n} & \cdots & A_{nn}\\ \end{pmatrix} = \begin{pmatrix} |A| & & & \\ &|A| & & \\ & &\ddots& \\ & & & |A|\\ \end{pmatrix} = |A| E$

逆矩阵

设 $A$ 为 $n$ 阶方阵( $n \times n$ )，若存在 $n$ 阶方阵 $B$ 使得: $A B = B A = E$ ，则称 $A$ 是可逆的(或非奇异的)且矩阵 $B$ 是矩阵 $A$ 的逆矩阵，记为 $A^{-1} = B$ 。
矩阵 $B$ 称为 $A$ 的逆矩阵，简称逆阵。

若 $B$ 和 $C$ 均为 $A$ 的逆矩阵，则
$B = BE = B (A C) = (B A) C = EC = C$
因此一个矩阵最多有一个逆矩阵。

定理1 若矩阵 $A$ 可逆，则 $\neq 0$

证 $A$ 可逆，即有 $A^{-1}$ ，使 $AA^{-1}=E$ 。故 $|A|\cdot |A^{-1}| = |E| =1$ ，所以 $\neq 0$ 。

定理2 若 $\neq 0$ ，则矩阵 $A$ 可逆，且
$A^{-1} = \frac{1}{|A|}A^* \tag{1}$
其中 $A^*$ 为矩阵 $A$ 的伴随阵。

证

我们已知
$AA^* = A^*A = |A|E$
因为 $\neq 0$ ，(等式两边同时乘以 $\frac{1}{|A|}$ )故有
$A\frac{1}{|A|} A^* = \frac{1}{|A|}A^*A =E,$
所以，按逆矩阵的定义，即知 $A$ 可逆，且
$A^{-1}= \frac{1}{|A|}A^*.$

当 $∣ A ∣ = 0$ 时， $A$ 称为奇异矩阵，否则称非奇异矩阵。由上面两定理可知： $A$ 是可逆矩阵的充分必要条件是 $\neq 0$ ，即可逆矩阵就是非奇异矩阵。

由定理2，可得下述推论。

推论若 $A B = E$ (或 $B A = E$ )，则 $B=A^{-1}$ 。

证 $|A|\cdot |B| =|E| = 1$ ，故 $\neq 0$ ，因而 $A^{-1}$ 存在，于是
$B = EB = (A^{-1}A)B = A^{-1}(AB) = A^{-1}E = A^{-1}。$
方阵的逆阵满足下述运算规律：

若 $A$ 可逆，则 $A^{-1}$ 亦可逆，且 $A^{-1})^{-1}=A$
若 $A$ 可逆，数 $\lambda \neq 0$ ，则 $\lambda A$ 可逆，且 $(\lambda A)^{-1}= \frac{1}{\lambda}A^{-1}$
若 $A, B$ 为同阶矩阵且均可逆，则 $A B$ 亦可逆，且
$AB)^{-1} = B^{-1}A^{-1}$
证 $AB)(B^{-1}A^{-1}) = A(BB^{-1})A^{-1}=AA^{-1} =E$ ，即有 $AB)^{-1}=B^{-1}A^{-1}$ 。
若 $A$ 可逆，则 $A^T$ 亦可逆，且 $A^T)^{-1}= (A^{-1})^T$

证 $A^T(A^{-1})^T=(A^{-1}A)^T=E^T=E$

矩阵的秩

矩阵的初等变换

为了引进矩阵的初等变换，先来分析用消元法解线性方程组的例子。

引例求解线性方程组

在上述消元过程中，始终把方程组看作一个整体。其中用到三种变换，即：交换方程次序(如 $(B_1)\text{中}①\leftrightarrow ②$ )；以不等于0的数乘某个方程(如 $(B_3)中②\times \frac{1}{2}$ )；一个方程加上另一个方程的 $k$ 倍(如 $B_2)中③-2①$ )。

由于这三种变换都是可逆的，因此变换前的方程组与变换后的方程组是同解的。

在上述变换过程中，实际上只对方程组的系数和常数进行运算，未知数并未参与运算。因此，若记方程组 $(1)$ 的增广矩阵为
$=\begin{pmatrix} 2 &-1 & -1 & 1 &2\\ 1 &1 & -2 & 1 &4\\ 4 &-6 &2& -2 &4 \\ 3 &6 & -9 & 7 & 9\\ \end{pmatrix},$
那么上述对方程组的变换完全可以转换为对矩阵 $B$ 的变换。把方程组的上述三种同解变换移植到矩阵上，就得到句子的三种初等变换。

定义1 下面三种变换称为矩阵的初等行变换：

对调两行(对调 $i, j$ 两行，记作 $r_i \leftrightarrow r_j$ )
以数 $\neq0$ 乘某一行中的所有元素(第 $i$ 行乘 $k$ ，记作 $r_i \times k$ )
把某一行所有元素的 $k$ 倍加到另一行对应的元素上去(第 $j$ 行的 $k$ 倍加到第 $i$ 行上，记作 $r_i+kr_j$ )

把定义中的“行”换成“列”，即得矩阵的初等列变换的定义。

矩阵的初等行变换与初等列变换，统称为初等变换。

显然，三种初等变换都是可逆的(操作)，且其逆变换是同一类型的初等变换；

变换 $r_i \leftrightarrow r_j$ 的逆变换就是其本身；
变换 $r_i \times k$ 的逆变换为 $r_i \times \left(\frac{1}{k}\right)$ (或记作 $r_i \div k$ )
变换 $r_i + kr_j$ 的逆变换为 $r_i + (-k)r_j$ (或记作 $r_i - kr_j$ )

如果矩阵 $A$ 经过有限次初等行变换变成矩阵 $B$ ，就称矩阵 $A$ 与 $B$ 行等价，记作 $A\overset{r}{\sim}B$ ；

如果矩阵 $A$ 经过有限次初等列变换变成矩阵 $B$ ，就称矩阵 $A$ 与 $B$ 列等价，记作 $A\overset{c}{\sim}B$ ；

如果矩阵 $A$ 经过有限次初等变换变成矩阵 $B$ ，就称为矩阵 $A$ 与 $B$ 等价，记作 $\sim B$ 。

矩阵之间的等价关系具有下列性质：

反身性 $\sim A$
对称性若 $\sim B$ ，则 $\sim A$
传递性若 $\sim B, B \sim C$ ，则 $\sim C$

下面用矩阵的初等行变换来解方程组 $(1)$ ，其过程可与方程组 $(1)$ 的消元过程一一对照。

矩阵 $B_4$ 和 $B_5$ 都称为行阶梯形矩阵，其特点是：

可画出一条阶梯线，线的下方全为0；

每个台阶只有一行，台阶数即使非零行的行数；

阶梯线的竖线后面的一个元素为非零元，也就是非零行的第一个非零元；

行阶梯形矩阵 $B_5$ 还称为行最简形矩阵，其特点是：非零行的第一个非零元为 $1$ ，且这些非零元所在的列的其他元素都为 $0$ 。

对于任何矩阵 $A_{m \times n}$ ，总可经过有限次初等行变换把它变为行阶梯形矩阵和行最简形矩阵。

对行最简形矩阵再施以初等列变换，可变成一种形状更简单的矩阵，称为标准形，例如：

矩阵 $F$ 称为矩阵 $B$ 的标准形，其特点是： $F$ 的左上角是一个单位矩阵，其余元素全为 $0$ 。

对于 $\times n$ 矩阵 $A$ ，总可经过初等变换(行变换或列变换)把它化为标准形
$\begin{pmatrix} E_r & O \\ O & O \\ \end{pmatrix} _{m \times n}$

此标准形由 $m, n, r$ 三个数完全确定，其中 $r$ 就是行阶梯形矩阵中非零行的行数。

定理1 设 $A$ 与 $B$ 为 $\times n$ 矩阵，那么：

$\overset{r}{\sim} B$ 的充要条件是存在 $m$ 阶可逆矩阵 $P$ ；使 $P A = B$ ;
$\overset{c}{\sim} B$ 的充要条件是存在 $n$ 阶可逆矩阵 $Q$ ；使 $A Q = B$ ;
$\sim B$ 的充要条件是存在 $m$ 阶可逆矩阵 $P$ 及 $n$ 阶可逆矩阵 $Q$ ，使 $P A Q = B$ 。

为了证明这个定理，我们引进初等矩阵的知识。

定义2 由单位阵 $E$ 经过一次初等变换得到的矩阵称为初等矩阵。

三种初等变换对应有三种初等矩阵。

(1) 把单位阵中第 $i, j$ 两行对调(或两列对调)，得初等矩阵

用 $m$ 阶初等矩阵 $E_m(i,j)$ 左乘矩阵 $A=(a_{ij})_{m \times n}$ ，得

其结果相当于对矩阵 $A$ 施行第一种初等行变换。

$\neq 0$ ，所以是可逆的。因为 $∣ E ∣ = 1$ ，对 $E$ 交换两行或两列，行列式变号。

(2)以数 $\neq 0$ 乘单位阵的第 $i$ 行(或第 $i$ 列)，得初等矩阵

可以验知：以 $E_m(i(k))$ 左乘矩阵 $A$ ，其结果相当于以数 $k$ 乘 $A$ 的第 $i$ 行 $(r_i \times k)$ ；

行列式某行乘以某个数 $k$ ，等于用 $k$ 乘以此行列式，所以行列式不为零，可逆。

或因此矩阵是对角矩阵，行列式为 $\times 1 \cdots \times k \cdots \times 1 = k$ 。

(3) 以 $k$ 乘 $E$ 的第 $j$ 行加到第 $i$ 行上或以 $k$ 乘 $E$ 的第 $i$ 列加到第 $j$ 列上，得初等矩阵

可以验知：以 $E_m(ij(k))$ 左乘矩阵 $A$ ，其结果相当于把 $A$ 的第 $j$ 行乘 $k$ 加到第 $i$ 行 $r_i+kr_j)$ 。

得到的矩阵的行列式还是为 $\neq 0$ ，所以可逆。

归纳上面的讨论，可得

性质1 设 $A$ 是一个 $\times n$ 矩阵，对 $A$ 施行一次初等行变换，相当于在 $A$ 的左边乘以相应的 $m$ 阶初等矩阵；对 $A$ 施行一次初等列变换，相当于在 $A$ 的右边乘以相应的 $n$ 阶初等矩阵。

性质2 方阵 $A$ 可逆的充要条件是存在有限个初等矩阵 $P_1,P_2,\cdots,P_l$ ，使 $P_1P_2\cdots P_l$ 。

证先证充分性。设 $P_1P_2\cdots P_l$ ，因初等矩阵可逆，有限个可逆矩阵的乘积仍可逆，故 $A$ 可逆。

再证必要性设 $n$ 阶方阵 $A$ 可逆，且 $A$ 的标准形矩阵为 $F$ ，由于 $\sim A$ ，知 $F$ 经过有限次初等变换可化为 $A$ ，即有初等矩阵 $P_1,P_2,\cdots,P_l$ ，使
$P_1 \cdots P_s FP_{s+1}\cdots P_l,$
因为 $A$ 可逆，所以 $|P_1|\cdot |P_2| \cdot \cdots |P_l| \neq 0$ ，所以 $|P_1| ,|P_2|,\cdots,|P_l|$ 都不等于零。

所以 $P_1,\cdots,P_l$ 也都可逆，故标准形矩阵 $F$ 可逆。假设
$\begin{pmatrix} E_r & O \\ O & O \\ \end{pmatrix} _{n \times n}$
中的$ r < n $，则$ |F| =0 $，与$ F $可逆矛盾，因此必有$ r=n $，即$ F=E$，从而
$A=P_1P_2\cdots P_l.$

下面应用初等矩阵的知识来证明定理1。

定理1的证明

依据 $A\overset{r}{\sim}B$ 的定义和初等矩阵的性质，有
$\begin{aligned} A\overset{r}{\sim}B &\Leftrightarrow A经过有限次初等行变换变成B \\ &\Leftrightarrow 存在有限个m阶初等矩阵P_1,P_2,\cdots,P_l，使P_l\cdots P_2P_1A=B\\ &\Leftrightarrow 存在m阶可逆矩阵P，使PA=B. \end{aligned}$

类似可证明2. 3.

推论方阵 $A$ 可逆的充分必要条件是 $A\overset{r}{\sim}E$ 。

证 $A$ 可逆 $\Leftrightarrow$ 存可逆阵 $P$ (即 $A$ 的逆阵)，使 $P A = E$ ，所以 $A\overset{r}{\sim}E$ 。

定理1表明，如果 $A\overset{r}{\sim}B$ ，即 $A$ 经过一系列初等变换可以变为 $B$ ，则有可逆矩阵 $P$ ,使 $P A = B$ 。那么，如何求出这个可逆矩阵 $P$ ？

由于
$\Leftrightarrow \begin{cases} PA = B, \\ PE=P \end{cases} \Leftrightarrow P(A,E) = (B,P) \Leftrightarrow (A,E) \overset{r}{\sim} (B,P)$
因此，如果对矩阵 $(A, E)$ 作初等行变换，那么，当把 $A$ 变为 $B$ 时， $E$ 就变为 $P$ 。

于是就得到了求逆矩阵的一种新方法。

矩阵的秩

定义在 $\times n$ 的矩阵 $A$ 中，任取 $k$ 行与 $k$ 列，位于这些行列交叉处的 $k^2$ 个元素，不改变它们在 $A$ 中所处的位置次序而得的 $k$ 阶行列式，称为矩阵 $A$ 的 $k$ 阶子式。

$\times n$ 矩阵 $A$ 的 $k$ 阶子式共有 $C_m^k \cdot C_n^k$ 个。

定义设在矩阵 $A$ 中有一个不等于0的 $r$ 阶子式 $D$ ，且所有 $r + 1$ 阶子式(如果存在的话)全等于0，那么 $D$ 称为矩阵 $A$ 的最高阶非零子式，数 $r$ 称为矩阵 $A$ 的秩，记作 $R (A)$ 。并规定零矩阵的秩等于0。

比如，我们上面知道，一个 $\times n$ 矩阵 $A$ ，它的标准形
$\begin{pmatrix} E_r & O \\ O & O \\ \end{pmatrix} _{m \times n}$
由数 $r$ 完全确定，这个数就是 $A$ 的行阶梯形中非零行的行数，也就是矩阵 $A$ 的秩。

显然，若 $A$ 为 $\times n$ 矩阵，则 $\leq R(A) \leq \min\{m,n\}$

由于行列式与其转置行列式相等，因此 $A^T$ 的子式与 $A$ 的子式对应相等，从而 $R(A^T) = R(A)$ 。

对于 $n$ 阶矩阵 $A$ ，由于 $A$ 的 $n$ 阶子式只有一个 $∣ A ∣$ ，故当 $\neq 0$ 时 $R (A) = n$ ；
当 $∣ A ∣ = 0$ 时 $R (A) < n$ 。

可见可逆矩阵的秩等于矩阵的阶数，不可逆矩阵的秩小于矩阵的阶数。因此，可逆矩阵又称为满秩矩阵，不可逆矩阵(奇异矩阵)又称为降秩矩阵。

定理2 若 $\sim B$ ，则 $R (A) = R (B)$ 。
推论若可逆矩阵 $P, Q$ 使 $P A Q = B$ ，则 $R (A) = R (B)$ 。

秩的性质

$\leq R(A_{m \times n}) \leq \min |m,n|$
$R(A^T) = R(A)$
若 $\sim B$ ，则 $R (A) = R (B)$
若 $P$ 、 $Q$ 可逆，则 $R (P A Q) = R (A)$
$\max \{R(A),R(B)\} \leq R(A,B) \leq R(A) + R(B)$
- 特别第，当 $B = b$ 为非零列向量时，有
  $\leq R(A,b) \leq R(A) +1$
$\leq R(A) + R(B)$
$\leq \min \{R(A),R(B) \}$
若 $A_{m \times n}B_{n \times l} = O$ ，则 $\leq n$

线性方程组的解

设有 $n$ 个未知数 $m$ 个方程的线性方程组
$\begin{cases} a_{11}x_1 + a_{12}x_2 + \cdots + a_{1n}x_n= b_1, \\ a_{21}x_1 + a_{22}x_2 + \cdots + a_{2n}x_n= b_2, \\ \cdots \\ a_{m1}x_1 + a_{m2}x_2 + \cdots + a_{mn}x_n= b_m, \\ \end{cases} \tag{3}$

$(3)$ 式可以写成以向量 $x$ 为未知元的向量方程
$A x = b,$

定理3 $n$ 元线性方程组 $A x = b$

无解的充分必要条件是 $R (A) < R (A, b)$ (即出现了 $0 = b$ 的情况，其中 $\neq 0$ )
有唯一解的充分必要条件是 $R (A) = R (A, b) = n$
有无限多解的充分必要条件是 $R (A) = R (A, b) < n$

这里的 $n$ 是未知数的个数。

定理4 $n$ 元齐次线性方程组 $A x = 0$ 有非零解的充分必要条件是 $R (A) < n$
定理5 线性方程组 $A x = b$ 有解的充分必要条件是 $R (A) = R (A, b)$

用克拉默法则来看的话，
如果 $A$ 是方阵， $A x = 0$ 有非零解的条件是， $∣ A ∣ = 0$ ，即 $R (A) < n$ 。

我们知道
逆矩阵存在 $\Leftrightarrow |A| \neq 0 \Leftrightarrow R(A) =n$

正交性

标量积

两个 $R^n$ 中的向量 $x$ 和 $y$ 可以看成是 $\times 1$ 矩阵。构造矩阵乘积 $x^Ty$ 。这个乘积为一个 $1\times 1$ 矩阵，可看成是一个 $R^1$ 中的向量，或一个实数(标量)。

乘积 $x^Ty$ 称为 $x$ 和 $y$ 的标量积(scalar product)或内积。

$x^Ty = ||x||\,\, ||y|| \, cos \theta = \sum_{i=1}^n x_i y_i = \langle x,y \rangle$
如果 $x^Ty=0$ ，则称向量 $x$ 和 $y$ 为正交的。

内积空间

一个向量空间 $V$ 上的内积为 $V$ 上的运算，它将 $V$ 中的向量 $x$ 和 $y$ 与一个实数 $\langle x,y \rangle$ 关联，并满足下列条件：

$\langle x,y \rangle \geq 0$ ，等号成立的充要条件是 $x = 0$
对 $V$ 中所有的 $x$ 和 $y$ ，有 $\langle x,y \rangle = \langle y,x \rangle$
对 $V$ 中所有的 $x, y, z$ 及所有的标量 $\alpha,\beta$ ，有 $\langle \alpha x + \beta y,z \rangle = \alpha \langle x,z \rangle + \beta \langle y,z \rangle$

一个定义了内积的向量空间 $V$ 称为内积空间。

正交集

定义令 $v_1,v_2,\cdots,v_n$ 为一内积空间 $V$ 中的非零向量。若 $\neq j$ 时有 $\langle v_i, v_j \rangle = 0$ ，则 $\{v_1,v_2,\cdots,v_n\}$ 称为向量的正交集。

定理若 $\langle v_i, v_j \rangle = 0$ ，则 $\{v_1,v_2,\cdots,v_n\}$ 为一内积空间 $V$ 中非零向量的正交集，则 $v_1,v_2,\cdots,v_n$ 是线性无关的。

规范正交

定义规范正交的向量集合是单位向量的正交集。

集合 $\{u_1,u_2,\cdots, u_n\}$ 是规范正交集的充要条件为
$\langle u_i, u_j \rangle = \delta_{ij}$
其中
$\delta_{ij} = \left\{ \begin{array}{lr} 1 & 当 \,\, i =j\\ 0 & 当 \,\, i \neq j \end{array} \right.$

说的是集合中任意两个向量做内积结果为 $0$ 。

规范正交基

若 $B=\{u_1,u_2,\cdots, u_k\}$ 为一个内积空间 $V$ 中的规范正交集，则 $B$ 为子空间 $S=\text{Span}(u_1,u_2,\cdots, u_k)$ 的一组基。我们称 $B$ 为 $S$ 的一组规范正交基。

正交矩阵

定义若一个 $\times n$ 矩阵 $Q$ 的列向量构成 $R^n$ 中的一组规范正交基，则称 $Q$ 为正交矩阵。

定理一个 $\times n$ 矩阵 $Q$ 是正交矩阵的充要条件为 $Q^TQ=I$ 。
由定理可得，若 $Q$ 为一正交矩阵，则 $Q$ 可逆，且 $Q^{-1}=Q^T$ 。

性质若 $Q$ 为一个 $\times n$ 的正交矩阵，则：

$Q$ 的列向量构成了 $R^n$ 的一组规范正交基
$Q^TQ=I$
$Q^T=Q^{-1}$
$\langle Qx, Qy \rangle = \langle x, y \rangle$
$Qx||_2 = ||x||_2$

相似矩阵

正定矩阵与半正定矩阵

定义1 给定一个大小为 $\times n$ 的实对称矩阵 $A$ ，若对于任意长度为 $n$ 的非零向量 $x$ ，有 $x^TAx > 0$ 恒成立，则矩阵 $A$ 是一个正定矩阵。

定义2 给定一个大小为 $\times n$ 的实对称矩阵 $A$ ，若对于任意长度为 $n$ 的非零向量 $x$ ，有 $x^TAx \geq 0$ 恒成立，则矩阵 $A$ 是一个半正定矩阵。

向量的内积

定义1 设有 $n$ 为向量

$\begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{pmatrix}, \, y=\begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix}$

令
$=x_1y_1 + x_2y_2 + \cdots x_ny_n,$
$[x, y]$ 称为向量 $x$ 与 $y$ 的内积(内积也叫点积，也可表示为 $\langle x,y \rangle$ )。

内积是两个向量之间的一种运算，其结果是一个实数，用矩阵记号表示，当 $x$ 与 $y$ 都是列向量时，有
$x,y] = x^Ty = y^T x$

内积具有下列性质(其中 $x, y, z$ 为 $n$ 维向量， $\lambda$ 为实数)：

$[x, y] = [y, x]$
$[\lambda x,y] = \lambda[x,y]$
$[x + y, z] = [x, z] + [y, z]$
当 $x = 0$ 时， $[x, x] = 0$ ；当 $\neq 0$ 时， $[x, x] > 0$

可以得到柯西不等式
$[x,y]^2 \leq [x,x][y,y]$

定义2 令
$=\sqrt{[x,]} = \sqrt{x_1^2 + x_2^2 + \cdots + x_n^2}$
$∣∣ x ∣∣$ 称为 $n$ 维向量 $x$ 的长度(或范数)。

当 $∣∣ x ∣∣ = 1$ 时，称 $x$ 为单位向量。

向量的长度具有以下性质：

非负性当 $\neq 0$ 时， $∣∣ x ∣∣ > 0$ ；当 $x = 0$ 时， $∣∣ x ∣∣ = 0$
齐次性 $||\lambda x|| = |\lambda| ||x||$
三角不等式 $\leq ||x|| +||y||$

当 $[x, y] = 0$ 时，称向量 $x$ 与 $y$ 正交。显然，若 $x = 0$ ，则 $x$ 与任何向量都正交。

定理1 若 $n$ 维向量 $a_1,a_2,\cdots, a_r$ 是一组两两正交的非零向量，则 $a_1,a_2,\cdots, a_r$ 线性无关。

若向量 $a_1,a_2,a_3$ 线性无关，则它们互相不能用其他向量线性表示。

证设有 $\lambda_1,\lambda_2,\cdots,\lambda_r$ 使
$\lambda_1a_1 + \lambda_1a_2 + \cdots + \lambda_ra_r = 0,$
我们要证明 $\lambda_1 =\lambda_2 = \cdots \lambda_r = 0$ 。以 $a_1^T$ 左乘上式两端，当 $\geq 2$ 时， $a_1^T a_i =0$ ，要使上式等于零，所以
$\lambda_1 a_1^T a_1 = 0$
因为 $a_1 \neq 0$ ，所以 $a_1^T a_1 \neq 0$ ，从而只能 $\lambda_1=0$ ，类似可以证明 $\lambda_2 =0,\cdots, \lambda_r =0$ 。

于是向量组 $a_1,a_2,\cdots, a_r$ 线性无关。

定义3 设 $n$ 维向量 $e_1,e_2,\cdots,e_r$ 是向量空间 $V$ 的一个基，如果 $e_1,e_2,\cdots,e_r$ 两两正交，且都是单位向量，则称 $e_1,e_2,\cdots,e_r$ 是 $V$ 的一个规范正交基。

若 $e_1,e_2,\cdots,e_r$ 是 $V$ 的一个规范正交基，那么 $V$ 中任意向量 $a$ 都能由 $e_1,e_2,\cdots,e_r$ 线性表示，设表示为

$\lambda_1 e_1 + \lambda_ 2e_2 + \cdots + \lambda_r e_r$

定义4 如果 $n$ 阶矩阵 $A$ 满足
$A^TA = E \qquad (\text{即}A^{-1}=A^T)$
那么称 $A$ 为正交矩阵，简称正交阵。

$A^TA=E \Rightarrow |A^T||A|=1 \Rightarrow A\text{可逆} \Rightarrow A^{-1}=A^T$

上式用 $A$ 的列向量表示，即是
$\begin{pmatrix} a_1^T \\ a_2^T \\ \vdots \\ a_n^T \end{pmatrix} (a_1,a_2,\cdots, a_n) =E,$
因为 $A^TA=E$ 与 $AA^T=E$ 等价，所以上述结论对 $A$ 的行向量亦成立。

由此可见， $n$ 阶正交阵 $A$ 的 $n$ 个列(行)向量构成向量空间 $R^n$ 的一个规范正交基。

方阵的特征值与特征向量

定义6 设 $A$ 是 $n$ 阶矩阵，如果数 $\lambda$ 和 $n$ 维非零列向量 $x$ 使关系式
$=\lambda x \tag{1}$
成立，那么，这样的数 $\lambda$ 称为矩阵 $A$ 的特征值，非零向量 $x$ 称为 $A$ 的对应于特征值 $\lambda$ 的特征向量。

$(1)$ 式也可以写成
$\lambda E)x = 0$
这是 $n$ 个未知数 $n$ 个方程的齐次线性方程组，它有非零解的充分必要条件是系数行列式
$\lambda E| = 0,$
即
$\begin{vmatrix} a_{11} - \lambda & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} -\lambda & \cdots & a_{2n} \\ \vdots & \vdots & & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} - \lambda\\ \end{vmatrix}= 0$

$R (A) = R (A, b) < n$ 无穷解

上式是以 $\lambda$ 为未知数的一元 $n$ 次方程，称为矩阵 $A$ 的特征方程。其左端 $\lambda E|$ 是 $\lambda$ 的 $n$ 次多项式，记作 $f(\lambda)$ ，称为矩阵 $A$ 的特征多项式。

设 $n$ 阶矩阵 $A = (a_{ij})$ 的特征值为 $\lambda_1,\lambda_2,\cdots, \lambda_n$ ，有以下性质：

$\lambda_1 + \lambda_2 +\cdots + \lambda_n = a_{11} + a_{22} + \cdots +a_{nn}$
$\lambda_1\lambda_2 \cdots \lambda_n =|A|$

设 $\lambda = \lambda_i$ 为矩阵 $A$ 的一个特征值，则由方程
$\lambda_iE)x = 0$
可求得非零解 $x = p_i$ ，那么 $p_i$ 便是 $A$ 的对应于特征值 $\lambda_i$ 的特征向量。

例设 $\lambda$ 是方阵 $A$ 的特征值，证明

$\lambda^2$ 是 $A^2$ 的特征值
当 $A$ 可逆时， $\frac{1}{\lambda}$ 是 $A^{-1}$ 的特征值。

证因 $\lambda$ 是 $A$ 的特征值，故有 $\neq 0$ 使 $\lambda x$ 。于是
(1) $A^2 x = A(Ax) = A(\lambda x) = \lambda(A x) = \lambda^2 x$ ,
所以 $\lambda^2$ 是 $A^2$ 的特征值。
依此类推，不难证明：若 $\lambda$ 是 $A$ 的特征值，则 $\lambda^k$ 是 $A^k$ 的特征值。
(2) 当 $A$ 可逆时，由 $\lambda x$ ，有 $\lambda A^{-1} x$ ，因 $\neq 0$ ，知 $\lambda \neq 0$ ，故
$A^{-1} x = \frac{1}{\lambda} x，$
所以 $\frac{1}{\lambda}$ 是 $A^{-1}$ 的特征值。

定理2 设 $\lambda_1,\lambda_2,\cdots, \lambda_m$ 是方阵 $A$ 的 $m$ 个特征值， $p_1,p_2,\cdots, p_m$ 依次是与之对应的特征向量，如果 $\lambda_1,\lambda_2,\cdots, \lambda_m$ 各不相等，则 $p_1,p_2,\cdots, p_m$ 线性无关。

相似矩阵

定义7 设 $A, B$ 都是 $n$ 阶矩阵，若有可逆矩阵 $P$ ，使
$P^{-1}AP = B$
则称 $B$ 是 $A$ 的相似矩阵，或说矩阵 $A$ 与 $B$ 相似。对 $A$ 进行运算 $P^{-1}A$ 称为对 $A$ 进行相似变换。可逆矩阵 $P$ 称为把 $A$ 变成 $B$ 的相似变换矩阵。

定理3 若 $n$ 阶矩阵 $A$ 与 $B$ 相似，则 $A$ 与 $B$ 的特征多项式相同，从而 $A$ 与 $B$ 的特征值亦相同。
证因 $A$ 与 $B$ 相似，即有可逆矩阵 $P$ ,使 $P^{-1}AP=B$ ，故
$\begin{aligned} |B -\lambda E| &= |P^{-1}AP - \lambda P^{-1}P| \\ &=|P^{-1}(A-\lambda E)P| \\ &= |P^{-1}| \cdot |A - \lambda E|\cdot |P| \\ &= |A - \lambda E| \end{aligned}$

推论若 $n$ 阶矩阵 $A$ 与对角阵
$\Lambda= \begin{bmatrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & & \lambda_n\\ \end{bmatrix}$
相似，则 $\lambda_1,\lambda_2,\cdots,\lambda_n$ 即是 $A$ 的 $n$ 个特征值。

下面我们要讨论的主要问题是：对 $n$ 阶矩阵 $A$ ，寻求相似变换矩阵 $P$ ，使 $P^{-1}AP = \Lambda$ 为对角阵，这就称为把矩阵 $A$ 对角化。

假设已经找到可逆矩阵 $P$ ,使 $P^{-1}AP=\Lambda$ 为对角阵，我们来讨论 $P$ 应满足什么关系。

把 $P$ 用其列向量表示为
$P=(p_1,p_2,\cdots,p_n),$
由 $P^{-1}AP=\Lambda$ ，得 $AP=P\Lambda$ ，即
$\begin{aligned} A(p_1,p_2,\cdots,p_n) &= (p_1,p_2,\cdots,p_n)\begin{bmatrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & & \lambda_n\\ \end{bmatrix} \\ &= (\lambda_1p_1,\lambda_2p_2,\cdots, \lambda_np_n), \end{aligned}$
于是有
$Ap_i = \lambda_ip_i\qquad(i=1,2,\cdots,n).$
可见 $\lambda_i$ 是 $A$ 的特征值，而 $P$ 的列向量 $p_i$ 就是 $A$ 的对应于特征值 $\lambda_i$ 的特征向量。

定理4 $n$ 阶矩阵 $A$ 与对角阵相似(即 $A$ 能对角化)的充分必要条件是 $A$ 有 $n$ 个线性无关的特征向量。

联系定理2,得

对称矩阵的对角化

定理5 对称阵的特征值为实数

证设复数 $\lambda$ 为对称阵 $A$ 的特征值，复向量 $x$ 为对应的特征向量，即 $Ax=\lambda x,x \neq 0$ 。

用 $\overline{\lambda}$ 表示 $\lambda$ 的共轭复数， $\overline{x}$ 表示 $x$ 的共轭复向量，而 $A$ 为实矩阵，有 $\overline{A}$ ，故

$A\overline{x} = \overline{A}\overline{x} = (\overline{Ax}) = (\overline{\lambda x}) = \overline{\lambda}\overline{x}$ 。于是有
$\overline{x}^TAx = \overline{x}^T(Ax)=\overline{x}^T \lambda x=\lambda \overline{x}^T x,$

及
$\overline{x}^TAx = (\overline{x}^TA^T)x=(A\overline{x})^Tx=(\overline{\lambda}\overline{x})^Tx=\overline{\lambda}\overline{x}^Tx,$
两式相减，得
$(\lambda - \overline{\lambda})\overline{x}^Tx = 0,$
因 $\neq 0$ ，所以
$\overline{x}^Tx=\sum_{i=1}\overline{x}_i x_i = \sum_{i=1} |x_i|^2 \neq 0,$
故 $\lambda -\overline{\lambda} =0$ ，即 $\lambda = \overline{\lambda}$ ，说明 $\lambda$ 是实数。

定理6 设 $\lambda_1,\lambda_2$ 是对称阵 $A$ 的两个特征值， $p_1,p_2$ 是对应的特征向量。若 $\lambda_1 \neq \lambda_2$ ，则 $p_1,p_2$ 正交。

证 $\lambda_1p_1 = Ap_1,\lambda_2p_2 = Ap_2,\lambda_1 \neq \lambda_2$ 。

因 $A$ 对称，故 $\lambda_1p_1^T=(\lambda_1p_1)^T=(Ap_1)^T=p_1^TA^T=p_1^TA$ ，于是
$\lambda_1p_1^Tp_2 = p_1^TAp_2=p_1^T(\lambda_2p_2)=\lambda_2p_1^Tp_2,$
即
$(\lambda_1 -\lambda_2)p_1^Tp_2 = 0.$
因为 $\lambda_1 \neq \lambda_2$ ，故 $p_1^Tp_2=0$ ,即 $p_1,p_2$ 正交。

定理7 设 $A$ 是 $n$ 阶对称阵，则必有正交阵 $P$ ，使 $P^{-1}AP=P^TAP=\Lambda$ ，其中 $\Lambda$ 是以 $A$ 的 $n$ 个特征值为对角元的对角阵。

推论设 $A$ 为 $n$ 阶对称阵， $\lambda$ 是 $A$ 的特征方程的 $k$ 重根，则矩阵 $-\lambda E$ 的秩 $-\lambda E)= n -k$ ，从而对应特征值 $\lambda$ 恰有 $k$ 个线性无关的特征向量。

二次型及其标准形

使二次型只含平方项，也就是用 $(7)$ 带入 $(5)$ ，能使
$k_1y^2_1 + k_2y_2^2 + \cdots + k_ny_n^2,$
这种只含平方项的二次型，称为二次型的标形型(或法式)。

如果标准形的系数 $k_1,k_2,\cdots,k_n$ 只在 $1, - 1, 0$ 三个数中取值，也就是用 $(7)$ 代入 $(5)$ ，能使
$y_1^2 + \cdots + y_p^2 - y^2_{p+1} - \cdots - y^2_r,$
则称上式为二次型的规范形。

则二次型可记作
$x^TAx, \tag{8}$
其中 $A$ 为对称阵。

如果 $\geq 0$ ，则是半正定。

更新记录

2021-05-25 补充单位矩阵、奇异矩阵
2021-05-26 新增标准基、正交性
2021-05-27 新增特征值
2021-06-05 新增实对称矩阵定理
2021-06-19 新值行列式

参考

《线性代数》利昂著
《线性代数》同济大学第五版
维基百科

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！

标签：技术

上一篇 > 人工智能书单（数学基础篇）
下一篇 > 提利昂的赏赐（百度2017秋招真题）

Duilib中list控件支持ctrl和shif多行选中的实现

[ICML2015]Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shif

win10系统微软输入法于eclipse ctrl+shif+f冲突间接处理办法

Codeforces Round #259 (Div. 2) B. Little Pony and Sort by Shif

读LDD3，内存映射与DMA--PAGE_SHIF…

VMware虚拟机安装XP【要先分区，再设置BOOT 启动CD，shif+上移】

更换iBus五笔的左与右Shif

sublime ctrl+shif+f 没用解决办法

idea 对 ctrl + z 的撤销是 ctrl + shif + z

计算机最早的设计师应用于,计算机应用基础选择题doc.doc

win10自带截图神器：Win+Shift+S

Python基础之文件目录操作

python简述目录_Python基础之文件目录操作(示例代码)

tp5 如何做数据采集

任务2-7(服务器字体+阿里巴巴矢量库)

html标签（1)：h1~h6,p,br,pre,hr

TI 电量计介绍与芯片选型指南

几款TI电源芯片简介

TI DSP芯片C2000系列读取FLASH数据

德州仪器(Ti)平台嵌入式开发基础

TI三相电机智能栅极驱动芯片特点分类

省选模拟（12.08） T3 圈圈圈圈圈圈圈圈

Hadoop生态圈技术栈（上）

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之6.Impala交互式查询

小猿圈之Linux下Mysql 操作命令

大数据Hadoop生态圈常用面试题

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之4.Hive DDL、DQL和数据操作

备战Noip2018模拟赛11（B组）T3 Monogatari 物语

【智能优化算法-圆圈搜索算法】基于圆圈搜索算法Circle Search Algorithm求解单目标优化问题附matlab代码

NYOJ 78 圈水池

递归问题跑道汽车绕圈问题 Python实现

Hadoop生态圈（三）：MapReduce

人工智能数学基础之线性代数(三)

前言

矩阵的逆

方阵的行列式

逆矩阵

矩阵的秩

矩阵的初等变换

矩阵的秩

线性方程组的解

正交性

标量积

内积空间

正交集

规范正交

规范正交基

正交矩阵

相似矩阵

正定矩阵与半正定矩阵

向量的内积

方阵的特征值与特征向量

相似矩阵

对称矩阵的对角化

二次型及其标准形

更新记录

参考

相关文章