再生希尔伯特空间与核函数讲解

再生希尔伯特空间与核函数讲解

文章目录

• • 再生希尔伯特空间与核函数讲解
  • • 空间
    • 线性空间/向量空间(Linear Space/Vector Space)
    • 度量空间
    • 赋范线性空间/范数向量空间
    • • 距离与范数的关系
    • 内积空间(inner product space)
    • 欧式空间/欧几里得空间(Euclidean Space)
    • 巴拿赫空间
    • 希尔伯特空间
    • 核函数
    • • 1.矩阵的特征值分解
      • 2.核函数
      • 3.Mercer定理
      • 4.核函数的作用以及通俗理解
    • 再生核希尔伯特空间
    • • 具体定义

空间

空间的概念就是 空间 = 集合 + 结构

线性空间/向量空间(Linear Space/Vector Space)

线性空间就是 线性空间 = 集合 + 线性结构 ，而其中的线性结构就是 线性结构 = 加法 + 数乘

简单说线性空间就是一系列向量的集合并且只满足加法和标量乘（向量的相乘）操作的集合。

加法运算：首先设一个集合$V$,在集合$V$中定义元素的加法运算：$\forall x,y\in V$,在$V$中都有唯一的一个元素$\gamma$与之对应，称为$x与y$的和，即$x+y$.

数乘运算：数乘就是用一个数字去乘，这个数字的来源就是一个数域$F$，$\forall a\in F,x\in V,$在$V$中都有唯一的元素$\delta$与之对应，称为$a与x$的数量乘积

除了运算，以上的两种运算还要满足下面的八种性质：

加法

1. $x+(y+z)=(x+y)+z$
2. $x+y=y+x$
3. 存在一个元素$0\in V$,使得$x+0=x$，$\forall x\in V$
4. $\forall x\in V$,存在一个元素$-x\in V$,使得$x+(-x)=0$.

数乘

1. $1x=x$
2. $(ab)x=a(bx)$

二者都有：

1. $(a+b)x=ax+bx$
2. $a(x+y)=ax+ay$

满足以上条件，则称V是数域F上的线性空间或者向量空间，V中的元素称为向量。

度量空间

度量空间 = 集合 + 拓扑结构

给定一个集合$V$，在$V$上定义一种新的运算：距离：$V\times V\to R,\forall x,y\in V,$在$R$中都有唯一的元素$\delta$与之对应，称为$x,y$之间的距离。

满足的性质：

1. $d(x,y)⩾0,\forall x,y\in V$且$d(x,y)=0\iff x=y$（非负性）
2. $d(x,y)⩽d(x,y)+d(y,z)$（三角不等式）
3. $d(x,y)=d(y,x)$（自反性）

其中$(V,d)$为度量空间或者距离空间，其中V的元素称为点。

赋范线性空间/范数向量空间

赋范线性空间 = 线性空间 + 范数 ：就是给线性空间穿上拓扑结构的外衣。

设$V$是一个实线性空间，对应的数域为$R$，在其上定义范数运算$\Vert \cdot \Vert :V\to R,$即$\forall x\in V,$在$R$中都有唯一的元素$\delta$与之对应，称之为x的范数，记为$\Vert x\Vert$。

满足的性质：

1. $\Vert x\Vert ⩾0$且$\Vert x\Vert =0\iff x=0$（非负性）
2. $\Vert ax\Vert =|a|\Vert x\Vert ,a\in R$（齐次性）
3. $\Vert x+y\Vert ⩽\Vert x\Vert +\Vert y\Vert ,x,y\in V$（三角不等式）

则称$(V,\Vert \cdot \Vert )$为赋范线性空间。

如果我们使用范数来定义距离，即令$d(x,y)=\Vert x-y\Vert$,则

1. $d(x,y)⩾0,\forall x,y\in V$且$d(x,y)=0\iff x=y$
2. $d(x,y)=\Vert x-z\Vert =\Vert x-y+y-z\Vert ⩽\Vert x-y\Vert +\Vert y-z\Vert =d(x,y)+d(y,z)$

所以d是V上的距离，$(V,d)$是度量空间，赋范线性空间V也具有拓扑结构。

距离与范数的关系

距离是空间中任意两点$x,y$满足以下三个条件：

1. $d(x,y)⩾0,\forall x,y\in V$且$d(x,y)=0\iff x=y$
2. $d(x,y)⩽d(x,y)+d(y,z)$
3. $d(x,y)=d(y,x)$

而范数则是空间中的一点到空间零点的距离，满足以下条件：

1. $\Vert x\Vert ⩾0$且$\Vert x\Vert =0\iff x=0$
2. $\Vert ax\Vert =|a|\Vert x\Vert ,a\in R$
3. $\Vert x+y\Vert ⩽\Vert x\Vert +\Vert y\Vert ,x,y\in V$

可以看出范数是在距离的基础上添加了新的约束限制，所以范数与距离的关系可以类似理解为与红富士苹果与苹果的关系。

内积空间(inner product space)

内积空间 = 线性空间 + 内积

给定一个集合$V$，在$V$上定义一种新的运算：内积：$V\times V\to R,\forall x,y\in V,$在$R$中都有唯一的元素$\delta$与之对应，称为$x,y$之间的内积，记为$(x,y)$。

满足性质：

1. $(x,y)⩾0$且$(x,x)=0\iff x=0$
2. $(x,y)=(y,x)$
3. $(ax,z)=a(x,z),a\in R$
4. $(x+y,z)=(x,z)+(y,z)$

则$(V,(\cdot ,\cdot ))$为内积空间。

如果使用内积定义范数，令 ∥ x ∥ = ( x , x ) \Vert x \Vert=\sqrt{(x,x)} ∥x∥=(x,x) ​，则

1. $\Vert x\Vert ⩾0$且$\Vert x\Vert =0\iff 0$
2. ∥ a x ∥ = ( a x , a x ) = a 2 ( x , x ) = ∣ a ∣ ∥ x ∥ \Vert ax\Vert=\sqrt{(ax,ax)}=\sqrt{a^2(x,x)}=\vert a\vert\Vert x\Vert ∥ax∥=(ax,ax) ​=a2(x,x) ​=∣a∣∥x∥

则 ∥ x ∥ = ( x , x ) \Vert x \Vert=\sqrt{(x,x)} ∥x∥=(x,x) ​是线性空间V上的范数， V , ( ⋅ , ⋅ ) V,\sqrt{(·,·)} V,(⋅,⋅) ​是赋范线性空间。

欧式空间/欧几里得空间(Euclidean Space)

设$V$是实数域$R$上的线性空间（或称为向量空间），若$V$上定义着正定对称双线性型$g$（$g$称为内积），则$V$称为（对于$g$的）内积空间或欧几里德空间（有时仅当$V$是有限维时，才称为欧几里德空间）。这些数学空间可以被扩展来应用于任何有限维度，而这种空间叫做$n$维欧几里得空间（甚至简称$n$维空间）或有限维实内积空间。
欧里几何空间可以说是内积空间的引申。

巴拿赫空间

巴拿赫空间 = 赋范空间 + 完备性

希尔伯特空间

在内积空间上扩展，使得内积空间满足完备性，形成希尔伯特空间如下：

希尔伯特空间 = 内积空间 + 完备性

其中完备性的意思就是空间中的极限运算不能跑出该空间，如有理数空间中的 2 \sqrt{2} 2 ​的小数表示，其极限随着小数位数的增加收敛到 2 \sqrt{2} 2 ​，但 2 \sqrt{2} 2 ​属于无理数，并不在有理数空间，故不满足完备性。

一个通俗的理解是把学校理解为一个空间，你从学校内的宿舍中开始一直往外走，当走不动停下来时（极限收敛），发现已经走出学校了（超出空间），不在学校范围内了（不完备了）。希尔伯特就相当于地球，无论你怎么走，都还在地球内（飞出太空除外）。

希尔伯特空间是一个函数空间，即空间中每个元素都是一个函数。

核函数

1.矩阵的特征值分解

在一般的欧氏空间中，我们可以定义一个$n\times n$的矩阵的特征值和特征向量。

$$A\mathbf{x}=\lambda \mathbf{x}$$

其中$\lambda$是矩阵$A$的特征值，而$\mathbf{x}$则是对应的特征向量。如果$A$有两个不同的特征值 λ 1 \lambda_1 λ1​与 λ 2 \lambda_2 λ2​,对应不同的特征向量 x 1 \mathbf{x_1} x1​与 x 2 \mathbf{x_2} x2​,且 λ 1 ≠ λ 2 \lambda_1 \neq\lambda_2 λ1​​=λ2​,则有

λ 1 x 1 T x 2 = x 1 T A T x 2 = x 1 T A x 2 = λ 2 x 1 T x 2 \lambda_1\mathbf{x}^T_1\mathbf{x}_2=\mathbf{x}^T_1A^T\mathbf{x}_2=\mathbf{x}^T_1A\mathbf{x}_2=\lambda_2\mathbf{x}^T_1\mathbf{x}_2 λ1​x1T​x2​=x1T​ATx2​=x1T​Ax2​=λ2​x1T​x2​

但是由于 λ 1 ≠ λ 2 \lambda_1 \neq\lambda_2 λ1​​=λ2​，那么一定有 x 1 T x 2 = 0 \mathbf{x}^T_1\mathbf{x}_2=0 x1T​x2​=0，即 x 1 \mathbf{x_1} x1​与 x 2 \mathbf{x_2} x2​正交，即两个特征向量是正交的。

对于矩阵 A ∈ R n × n A\in \mathcal{R}^{n\times n} A∈Rn×n,可以找到n个特征值及其对应的特征向量。则A可以按照下面的形式进行特征值分解

A = Q D Q T A=QDQ^T A=QDQT

其中$Q$为正交矩阵（ Q Q T = I QQ^T=I QQT=I）， D = d i a g ( λ 1 , λ 2 , . . . , λ n ) D=diag(\lambda_1,\lambda_2,...,\lambda_n) D=diag(λ1​,λ2​,...,λn​)。
A = Q D Q T = ( q 1 , q 2 , . . . , q n ) { λ 1 λ 2 λ 3 } { q 1 T q 2 T . . . q n T } = ( λ 1 q 1 , λ 2 q 2 , . . . , λ n q n ) { q 1 T q 2 T . . . q n T } = ∑ i = 1 n λ i q i q i T A=QDQ^T=(\mathbf{q_1,q_2,...,q_n}) \left\{ \begin{matrix} \lambda_1 & & \\ & \lambda_2 & \\ & & \lambda_3 \end{matrix} \right\} \left\{ \begin{matrix} q_1^T\\ q_2^T\\ ...\\ q_n^T\\ \end{matrix} \right\}\\ =(\lambda_1q_1,\lambda_2q_2,...,\lambda_nq_n) \left\{ \begin{matrix} q_1^T\\ q_2^T\\ ...\\ q_n^T\\ \end{matrix} \right\}\\ =\sum\limits^{n}\limits_{i=1}{\lambda_iq_iq^T_i} A=QDQT=(q1​,q2​,...,qn​)⎩⎨⎧​λ1​​λ2​​λ3​​⎭⎬⎫​⎩⎪⎪⎨⎪⎪⎧​q1T​q2T​...qnT​​⎭⎪⎪⎬⎪⎪⎫​=(λ1​q1​,λ2​q2​,...,λn​qn​)⎩⎪⎪⎨⎪⎪⎧​q1T​q2T​...qnT​​⎭⎪⎪⎬⎪⎪⎫​=i=1∑n​λi​qi​qiT​
这里的 { q i } i = 1 n \{q_i\}^n_{i=1} {qi​}i=1n​为 R n \mathcal{R^n} Rn空间中的一组正交基。

当一个矩阵可以进行特征值分解的时候，其特征向量构成了这个$n$维空间的一组基底.

2.核函数

每一个函数$f$都可以看做一个无限维的向量，那么二元函数$K(\mathbf{x},\mathbf{y})$就可以看做是一个无限维的矩阵。如果它满足：

正定性

$$\int \int f(x)K(\mathbf{x},\mathbf{y})f(y)dxdy⩾0$$

对称性

$$K(\mathbf{x},\mathbf{y})=K(\mathbf{y},\mathbf{x})$$

那么它就是一个核函数。

3.Mercer定理

与矩阵特征值和特征向量类似，核函数存在特征值和特征函数（将函数看做无限维向量）。也就是：

$$\int K(\mathbf{x},\mathbf{y})\psi (\mathbf{x})dx=\lambda \psi (\mathbf{y})$$

类比于上面的矩阵，对于不同的特征值 λ 1 , λ 2 \lambda_1,\lambda_2 λ1​,λ2​,及其对应的特征方程 ψ 1 ( x ) , ψ 2 ( x ) \psi_1(\mathbf{x}),\psi_2(\mathbf{x}) ψ1​(x),ψ2​(x)

∫ λ 1 ψ 1 ( x ) ψ 2 ( x ) d x = ∫ λ 2 ψ 2 ( x ) ψ 1 ( x ) d x \int \lambda_1 \psi_1(\mathbf{x})\psi_2(\mathbf{x})dx=\int \lambda_2 \psi_2(\mathbf{x})\psi_1(\mathbf{x})dx ∫λ1​ψ1​(x)ψ2​(x)dx=∫λ2​ψ2​(x)ψ1​(x)dx

因此， < ψ 1 , ψ 2 > = ∫ ψ 1 ( x ) ψ 2 ( x ) d x = 0 <\psi_1,\psi_2>=\int\psi_1(\mathbf{x})\psi_2(\mathbf{x})dx=0 <ψ1​,ψ2​>=∫ψ1​(x)ψ2​(x)dx=0.即特征方程是正交的。

一个核函数对应无穷个特征值 { λ i } i = 1 ∞ \{\lambda_i\}^{\infty}_{i=1} {λi​}i=1∞​和无穷个特征方程 { ψ i } i = 1 ∞ \{\psi_i\}^{\infty}_{i=1} {ψi​}i=1∞​。和矩阵类似，

K ( x , y ) = ∑ i = 0 ∞ λ i ψ i ( x ) ψ j ( y ) K(\mathbf{x,y})=\sum\limits^{\infty}\limits_{i=0}\lambda_i \psi_i(\mathbf{x})\psi_j(\mathbf{y}) K(x,y)=i=0∑∞​λi​ψi​(x)ψj​(y)

这里 ψ i , ψ j ⩾ 0 , i ≠ j \psi_i ,\psi_j \geqslant0,i \neq j ψi​,ψj​⩾0,i​=j。 { ψ i } i = 1 ∞ \{\psi_i\}^{\infty}_{i=1} {ψi​}i=1∞​是原来函数空间的一组正交基。

4.核函数的作用以及通俗理解

问题：给杜两个向量 x i , x j \mathbf{x_i,x_j} xi​,xj​，目标是要计算它们的内积 I = < x i , x j > I=<\mathbf{x_i,x_j}> I=<xi​,xj​>。

现在通过某种非线性变换$\Phi :\mathbf{x}\to \varphi (\mathbf{x})$被它们映射到一个高维空间中，映射后的变量就变成了 ϕ ( x i ) , ϕ ( x j ) \phi(x_i),\phi(x_j) ϕ(xi​),ϕ(xj​)，映射后的内积变为 I ′ = < ϕ ( x i ) , ϕ ( x j ) > I^{'}=<\phi(x_i),\phi(x_j)> I′=<ϕ(xi​),ϕ(xj​)>。

那么现在要如何计算变换后的内积呢？

传统方法是先计算映射后的向量 ϕ ( x i ) , ϕ ( x j ) \phi(x_i),\phi(x_j) ϕ(xi​),ϕ(xj​)，然后再计算它俩的内积。但是这样做计算很复杂，因为映射到高维空间后的数据维度很高。比如，假设 x i , x j \mathbf{x_i,x_j} xi​,xj​映射之后都是一个(1×10000)维的向量，那么他们的内积计算就需要做10000次加法操作和10000次乘法操作，显然复杂度很高。

那么能不能在原始空间找到一个函数 K ( x i , x j ) K(\mathbf{x_i,x_j}) K(xi​,xj​)使得 K ( x i , x j ) = < ϕ ( x i ) , ϕ ( x j ) > K(\mathbf{x_i,x_j})=<\phi(x_i),\phi(x_j)> K(xi​,xj​)=<ϕ(xi​),ϕ(xj​)>？如果可以的话，我们就可以在低维空间直接计算 K ( x i , x j ) K(\mathbf{x_i,x_j}) K(xi​,xj​)的值，不需要先把数据映射到高维空间，再通过复杂的计算求解映射后的内积了。这样的函数是存在的，这样的函数叫做核函数。

例子： $$x=(x1,x2,x3,x4);y=(y1,y2,y3,y4)$$

$$f(x)=(x1x1,x1x2,x1x3,x1x4,x2x1,x2x2,x2x3,x2x4,x3x1,x3x2,x3x3,x3x4,x4x1,x4x2,x4x3,x4x4)$$

$f(y)$同理。令核函数 K ( x , y ) = ( < x , y > ) 2 K(\mathbf{x,y})=(<\mathbf{x,y}>)^2 K(x,y)=(<x,y>)2.

$$x=(1,2,3,4);y=(5,6,7,8).$$

不使用核函数：$$f(x)=(1,2,3,4,2,4,6,8,3,6,9,12,4,8,12,16);$$
$$f(y)=(25,30,35,40,30,36,42,48,35,42,49,56,40,48,56,64);$$
$$<f(x),f(y)>=25+60+105+160+60+144+252+384+105+252+441+672+160+384+672+1024=4900.$$

使用核函数： K ( x , y ) = ( 5 + 12 + 21 + 32 ) 2 = 7 0 2 = 4900 K(\mathbf{x,y})=(5+12+21+32)^2=70^2=4900 K(x,y)=(5+12+21+32)2=702=4900

再生核希尔伯特空间

将 { λ i ψ i } i = 1 ∞ \{\sqrt{\lambda_i}\psi_i\}^{\infty}_{i=1} {λi​ ​ψi​}i=1∞​作为一组正交基构建一个希尔伯特空间$\mathcal{H}$,这个空间中的任何一个函数（向量）都可以表示为这组基的线性组合。如

f = ∑ i = 1 ∞ f i λ i ψ i f=\sum\limits^{\infty}\limits_{i=1}f_i\sqrt{\lambda_i}\psi_i f=i=1∑∞​fi​λi​ ​ψi​

则$f$就可以表示为$\mathcal{H}$中的一个无限维的向量： f = ( f 1 , f 2 , . . . ) H T f=(f_1,f_2,...)^T_{\mathcal{H}} f=(f1​,f2​,...)HT​,$K(\mathbf{x},\mathbf{y})$表示二元函数或无限维矩阵，$K(\mathbf{x},\cdot )$就可以表示矩阵第x行的一元函数或无限维向量，也就是固定核函数的一个参数为x，那么

K ( x , ⋅ ) = ( λ 1 ψ 1 ( x ) , λ 2 ψ 2 ( x ) , . . . ) H T K(\mathbf{x,·})=(\sqrt{\lambda_1}\psi_1(\mathbf{x}),\sqrt{\lambda_2}\psi_2(\mathbf{x}),...)^T_{\mathcal{H}} K(x,⋅)=(λ1​ ​ψ1​(x),λ2​ ​ψ2​(x),...)HT​

同样的，

K ( y , ⋅ ) = ( λ 1 ψ 1 ( y ) , λ 2 ψ 2 ( y ) , . . . ) H T K(\mathbf{y,·})=(\sqrt{\lambda_1}\psi_1(\mathbf{y}),\sqrt{\lambda_2}\psi_2(\mathbf{y}),...)^T_{\mathcal{H}} K(y,⋅)=(λ1​ ​ψ1​(y),λ2​ ​ψ2​(y),...)HT​

因此，

< K ( x , ⋅ ) , K ( y , ⋅ ) > H = ∑ i = 0 ∞ λ i ψ i ( x ) ψ i ( y ) = K ( x , y ) _{\mathcal{H}}=\sum\limits^{\infty}_{i=0}{\lambda_i \psi_i(\mathbf{x})\psi_i(\mathbf{y})}=K(\mathbf{x,y}) <K(x,⋅),K(y,⋅)>H​=i=0∑∞​λi​ψi​(x)ψi​(y)=K(x,y)

以上就是核的可再生性(reproducing)，即用核函数来再生两个函数的内积。也被叫做可再生核希尔伯特空间.

具体定义

设$\mathcal{H}$是一个由定义在非空集合$\mathcal{X}$上的函数$f:\mathcal{X}\to \mathbb{K}$构成的希尔伯特函数空间，若函数$k：\mathcal{X}\times \mathcal{X}\to \mathbb{R}$满足：

• $$\forall x\in \mathcal{X},k(\cdot ,x)\in \mathbb{K}$$

• ∀ x ∈ X , ∀ f ∈ H , < f , k ( ⋅ , x ) > H = f ( x ) ∀x∈\mathcal{X},∀f∈\mathcal{H},\left _\mathcal{H}=f(x) ∀x∈X,∀f∈H,⟨f,k(⋅,x)⟩H​=f(x)

• ∀ x , y ∈ X , k ( x , y ) = < k ( ⋅ , x ) , k ( ⋅ , y ) > H ∀x,y∈\mathcal{X},k(x,y)=\left _\mathcal{H} ∀x,y∈X,k(x,y)=⟨k(⋅,x),k(⋅,y)⟩H​

其中 < ⋅ , ⋅ > H <⋅,⋅>_\mathcal{H} <⋅,⋅>H​是内积，则$k$称为$\mathcal{H}$的再生核函数，$\mathcal{H}$称为再生核希尔伯特空间（RKHS）.

距离⟶范数⟶内积

向量空间+范数⟶ 赋范空间+线性结构⟶线性赋范空间+内积运算⟶内积空间+完备性⟶希尔伯特空间

内积空间+有限维⟶欧几里德空间

赋范空间+完备性⟶巴拿赫空间

转载或参考：

• https://blog.csdn.net/asd136912/article/details/79163368
• https://blog.csdn.net/zhouchangyu1221/article/details/103776670
• https://blog.csdn.net/lulu950817/article/details/80424288?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control
• https://www.zhihu.com/question/27903807
• https://zhuanlan.zhihu.com/p/29527729
• https://www.cnblogs.com/damin1909/p/12955240.html
• https://blog.csdn.net/zkq_1986/article/details/52448238

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！