（二）实值函数相对于向量的梯度

1、定义

以n维向量$x$为变元的实标量函数$f(x)$相对于$x$的梯度结果为n*1列向量，定义为

$$\bigtriangledown_{x}f(x)=\begin{bmatrix}\frac{\partial f(x)}{\partial x_{1}} \\ \frac{\partial f(x)}{\partial x_{2}} \\ \vdots \\ \frac{\partial f(x)}{\partial x_{n}} \end{bmatrix}=\begin{bmatrix}\frac{\partial f(x)}{\partial x_{1}},&\frac{\partial f(x)}{\partial x_{2}},&...,&\frac{\partial f(x)}{\partial x_{n}} \end{bmatrix}^T=\frac{\partial f(x)}{\partial x}$$

其中，$x$默认为列向量，$x^T$默认为行向量。

2、拓展定义

2.1 实标量函数$f(x)$相对于1*n行向量$x^T$的梯度结果为1*n行向量，定义为

$$\frac{\partial f(x)}{\partial x^T}=\begin{bmatrix}\frac{\partial f(x)}{\partial x_{1}},&\frac{\partial f(x)}{\partial x_{2}},&...,&\frac{\partial f(x)}{\partial x_{n}} \end{bmatrix}=\bigtriangledown_{x^T}f(x)$$

2.2 m维行向量函数$f(x)=\begin{bmatrix} f_{1}(x),&f_{2}(x),&…,&f_{m}(x) \end{bmatrix}$相对n维实向量$x$($x$默认是列向量)的梯度为一$n*m$矩阵，定义为

$$\frac{\partial f(x)}{\partial x}=\begin{bmatrix}\frac{\partial f_{1}(x)}{\partial x_{1}}&\frac{\partial f_{2}(x)}{\partial x_{1}}&...&\frac{\partial f_{m}(x)}{\partial x_{1}}\\ \frac{\partial f_{1}(x)}{\partial x_{2}}&\frac{\partial f_{2}(x)}{\partial x_{2}}&...&\frac{\partial f_{m}(x)}{\partial x_{2}}\\ \vdots &\vdots& &\vdots \\ \frac{\partial f_{1}(x)}{\partial x_{n}}&\frac{\partial f_{2}(x)}{\partial x_{n}}&...&\frac{\partial f_{m}(x)}{\partial x_{n}}\\ \end{bmatrix} =\bigtriangledown_{x}f(x)$$
两个特例：
（1）若m*1向量函数 $f(x)=y=\begin{bmatrix} y_{1},&y_{2},&…,&y_{m} \end{bmatrix}^T$，其中 $y_{1},y_{2},…,y_{m}$是向量的标量函数。则一阶梯度
$$\frac{\partial y}{\partial x^T}=\begin{bmatrix}\frac{\partial y_{1}}{\partial x_{1}}&\frac{\partial y_{1}}{\partial x_{2}}&...&\frac{\partial y_{1}}{\partial x_{n}}\\ \frac{\partial y_{2}}{\partial x_{1}}&\frac{\partial y_{2}}{\partial x_{2}}&...&\frac{\partial y_{2}}{\partial x_{n}}\\ \vdots &\vdots& &\vdots \\ \frac{\partial y_{m}}{\partial x_{1}}&\frac{\partial y_{m}}{\partial x_{2}}&...&\frac{\partial y_{m}}{\partial x_{n}}\\ \end{bmatrix}$$
是一个 $m*n$矩阵，称为 向量函数 $y=\begin{bmatrix}y_{1},&y_{2},&...,&y_{m}\end{bmatrix}^T$的 Jacobi矩阵。
（2）若 $f(x)=[x_{1},x_{2},...,x_{n}]$，则
∂xT∂x=I=∂f(x)∂x（I是单位矩阵） ∂ x T ∂ x = I = ∂ f ( x ) ∂ x （ I 是 单 位 矩 阵 ） $$\frac{\partial x^T}{\partial x}=I=\frac{\partial f(x)}{\partial x}（I是单位矩阵）$$
例如:
$x=[x_{1},x_{2},x_{3}]^T$，则 $x^T=[x_{1},x_{2},x_{3}]$，所以
$$\frac{\partial x^T}{\partial x}=\begin{bmatrix} \frac{\partial x_{1}}{\partial x_{1}}&\frac{\partial x_{2}}{\partial x_{1}}&\frac{\partial x_{3}}{\partial x_{1}}\\ \frac{\partial x_{1}}{\partial x_{2}}&\frac{\partial x_{2}}{\partial x_{2}}&\frac{\partial x_{3}}{\partial x_{2}}\\ \frac{\partial x_{1}}{\partial x_{3}}&\frac{\partial x_{2}}{\partial x_{3}}&\frac{\partial x_{3}}{\partial x_{3}} \end{bmatrix}=\begin{bmatrix} 1& 0& 0\\ 0 & 1 & 0\\ 0& 0 & 1 \end{bmatrix}=I$$
公式 ∂xT∂x=I（I是单位矩阵） ∂ x T ∂ x = I （ I 是 单 位 矩 阵 ） $\frac{\partial x^T}{\partial x}=I（I是单位矩阵）$非常有用

3、导出的基本公式

$A$和$y$均与向量$x$无关，有

（1）$\frac{\partial x^TAy}{\partial x}=\frac{\partial x^T}{\partial x}Ay=Ay$

（2）$\frac{\partial y^TAx}{\partial x}=A^Ty$

（3）$\frac{\partial x^TAx}{\partial x}=Ax+A^Tx$

（4） ∂xTAx∂x=2Ax(A为对称矩阵,转置矩阵等于本身) ∂ x T A x ∂ x = 2 A x ( A 为 对 称 矩 阵 , 转 置 矩 阵 等 于 本 身 ) $\frac{\partial x^TAx}{\partial x}=2Ax(A为对称矩阵,转置矩阵等于本身)$

注：矩阵的转置

$$(A^T)^T=A$$

$$(A+B)^T=A^T+B^T$$

$$(\lambda A)^T=\lambda A^T$$

$$(AB)^T=B^TA^T$$
参考
[1]《矩阵分析与运用》第5章
[2]《线性代数》第二版

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！