《Data-Drive Science and Engineering》—— Chapter2中文(1)——序言+傅里叶级数

《Data-Drive Science and Engineering》—— Chapter 2 中文译文(1)——序言+傅里叶级数

目录

• 《Data-Drive Science and Engineering》—— Chapter 2 中文译文(1)——序言+傅里叶级数
• 前言
• Chapter 2 机器学习和数据分析
• 2.1 傅里叶级数和傅里叶变换（Fourier series and Fourier transforms）
• • Inner products of functions and vectors（函数和向量的内积）
  • 傅里叶级数(Fourier series)
• Example: Fourier series for a continuous hat function （对于一个连续帽子函数的傅里叶级数）
• Example: Fourier series for a discontinuous hat function (非连续)
• 总结

前言

最近在学习FFT（快速傅里叶变换）的有关内容，然后偶然间发现了这一本来自美国华盛顿大学的硬核书。于是目前简单的翻译解读了一下这本书中我最需要了解的第二部分。

这一本书的主要内容是将机器学习、工程数学和数学物理等理论知识结合起来，并将基于理论的数据驱动方法运用于当前各种的的复杂系统当中，比如湍流、大脑、气候、流行病学、金融、机器人和自主。全书有一个专门的资源网站，包含电子版、案例研究、补充练习、数据和开源代码，可以说是非常强而且资源全面的一本书。

链接放在这里：
DATA DRIVEN SCIENCE & ENGINEERING

Chapter 2 机器学习和数据分析

数学物理和工程数学的一个中心问题涉及将方程转换为一个坐标系，其中表达式简化、解耦，并易于计算和分析。这是贯穿本书的共同主题，在各种各样的领域，包括数据分析(例如，SVD)、动力系统（例如，光谱分解为特征值和特征向量）和控制（例如，通过可控性和可观测性定义坐标系）。也许在19世纪早期，最早是由j-b约瑟夫·傅里叶将最普遍的、且无所不在的坐标变换引入热的理论研究中。傅里叶在热研究中引入了增加频率的正弦和余弦函数为解函数空间提供正交基的概念。实际上，正弦和余弦的傅里叶变换基作为热方程的特征函数，特定的频率作为特征值，由几何形状决定，振幅由边界条件决定。

傅里叶的开创性工作为希尔伯特空间（Hilbert spaces）、算子理论(operator theory)、近似理论(approximation theory)以及随后的解析和计算数学革命提供了数学基础。快进两百年，快速傅里叶变换已经成为计算数学的基石，使实时图像和音频压缩、全球通信网络、现代设备和硬件、数值物理和工程，以及先进的数据分析。简单地说，快速傅里叶变换在塑造现代世界方面比迄今为止的任何其他算法都具有更重要和深远的作用。

随着越来越复杂的问题、数据集和计算几何图形，简单的傅里叶正弦和余弦基已经让位给定制的基，如数据驱动的支持向量分解。事实上，支持向量差基可以作为傅里叶基的直接模拟来求解具有复杂几何的偏微分方程，这将在后面讨论。此外，相关的函数，称为小波，已被开发为先进的信号处理和压缩工作。在本章中，我们将演示傅里叶变换和小波变换的许多用途。

2.1 傅里叶级数和傅里叶变换（Fourier series and Fourier transforms）

在描述傅里叶变换在数据向量上的计算实现之前，我们介绍了为连续函数定义的解析傅里叶级数和傅里叶变换。自然，离散和连续公式应该在无限精细分辨率的数据极限下匹配。傅里叶级数和变换与无限维函数空间或希尔伯特空间的几何结构密切相关，它推广了向量空间的概念，以包含具有无限多个自由度的函数。因此，我们从介绍函数空间开始。

Inner products of functions and vectors（函数和向量的内积）

在这一节，我们将利用函数的内积和函数的范数。特别的，我们将使用被定义的公共的Hermitian内积函数$f(x)$和$g(x)$ ，对任意$x$在定义域上$x\in [a,b]$:

⟨ f ( x ) , g ( x ) ⟩ = ∫ a b f ( x ) g ˉ ( x ) d x \langle f(x), g(x)\rangle=\int_{a}^{b} f(x) \bar{g}(x) d x ⟨f(x),g(x)⟩=∫ab​f(x)gˉ​(x)dx
其中，$g$ 为复共轭

​
函数的内积一开始可能看起来很奇怪或没有动机，但当我们考虑数据向量的内积时，这个定义就变得清晰了。特别地，如果我们将函数f(x)和g(x)离散为数据的向量，如图2.1所示，随着采样分辨率的增加，我们希望向量内积收敛于函数内积。数据向量 f = [ f 1 f 2 . . . f n ] T f=[f_1 \ f_2 \ ... \ f_n]^T f=[f1​ f2​ ... fn​]T和 g = [ g 1 g 2 . . . g n ] T g=[g_1 \ g_2 \ ... \ g_n]^T g=[g1​ g2​ ... gn​]T的内积被定义成如下的形式：
⟨ f , g ⟩ = g ∗ f = ∑ k = 1 n f k g ˉ k = ∑ k = 1 n f ( x k ) g ˉ ( x k ) \langle\mathbf{f}, \mathbf{g}\rangle=\mathbf{g}^{*} \mathbf{f}=\sum_{k=1}^{n} f_{k} \bar{g}_{k}=\sum_{k=1}^{n} f\left(x_{k}\right) \bar{g}\left(x_{k}\right) ⟨f,g⟩=g∗f=k=1∑n​fk​gˉ​k​=k=1∑n​f(xk​)gˉ​(xk​)

随着数据点的增加，内积的大小会增加。比如：n增加。因此，我们可以使用这样的方法去进行标准归一化：$∆x=(b-a)/(n-1)$

b − a n − 1 ⟨ f , g ⟩ = ∑ k = 1 n f ( x k ) g ˉ ( x k ) Δ x \frac{b-a}{n-1}\langle\mathbf{f}, \mathbf{g}\rangle=\sum_{k=1}^{n} f\left(x_{k}\right) \bar{g}\left(x_{k}\right) \Delta x n−1b−a​⟨f,g⟩=k=1∑n​f(xk​)gˉ​(xk​)Δx

上式也是连续函数内积的黎曼近似。当我们的$n\to \infty (∆x\to 0)$，向量的内积收敛于（2.1）中的函数内积。

​这个内积也引出了函数的范数，即
∥ f ∥ 2 = ( ⟨ f , f ⟩ ) 1 / 2 = ⟨ f , f ⟩ = ( ∫ a b f ( x ) f ˉ ( x ) d x ) 1 / 2 \|f\|_{2}=(\langle f, f\rangle)^{1 / 2}=\sqrt{\langle f, f\rangle}=\left(\int_{a}^{b} f(x) \bar{f}(x) d x\right)^{1 / 2} ∥f∥2​=(⟨f,f⟩)1/2=⟨f,f⟩ ​=(∫ab​f(x)fˉ​(x)dx)1/2

所有具有有界范数的函数的集合定义了平方可积函数的集合，用 L 2 ( [ a ， b ] ) L^2([a，b]) L2([a，b])表示；这也被称为勒贝格可积函数的集合。间隔$[a，b]$也可以选择为无限（例如，$(-\infty ，\infty ))$、半无限（例如，$[a，\infty ))$或周期（例如，$[-\pi ，\pi ))$。$L2([1，\infty ))$中函数的一个有趣示例是$f(x)=1/x$。$f$的平方具有从$1$到$\infty$的有限积分，尽管函数本身的积分是发散的。通过绕x轴旋转得到的形状称为加布里埃尔角，因为体积是有限的(与 f 2 f^2 f2的积分有关)，而表面积是无限的(与$f$的积分有关)。

在有限维向量空间中，内积可用于将一个函数投影到一个由正交函数基定义的新坐标系中。函数$f$的傅里叶级数表示的是该函数在精确域上具有整数周期的正弦和余弦函数的正交集上的投影。这是以下各部分的主题。

傅里叶级数(Fourier series)

傅里叶分析的一个基本结果是，如果$f(x)$是周期性的和分段光滑的，那么它可以写成一个傅里叶级数，它是一个频率增加的余弦和正弦的无穷和。特别地，如果$f(x)$是$2\pi$周期的，它可以写成：
f ( x ) = a 0 2 + ∑ k = 1 ∞ ( a k cos ⁡ ( k x ) + b k sin ⁡ ( k x ) ) f(x)=\frac{a_{0}}{2}+\sum_{k=1}^{\infty}\left(a_{k} \cos (k x)+b_{k} \sin (k x)\right) f(x)=2a0​​+k=1∑∞​(ak​cos(kx)+bk​sin(kx))
系数 a k a_k ak​和 b k b_k bk​可由这样得到：
a k = 1 π ∫ − π π f ( x ) cos ⁡ ( k x ) d x b k = 1 π ∫ − π π f ( x ) sin ⁡ ( k x ) d x \begin{array}{l} a_{k}=\frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \cos (k x) d x \\ b_{k}=\frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \sin (k x) d x \end{array} ak​=π1​∫−ππ​f(x)cos(kx)dxbk​=π1​∫−ππ​f(x)sin(kx)dx​
这可以看作是通过将函数投影到正交余弦和正弦基 { c o s ( k x ) ， s i n ( k x ) } k = 0 ∞ \{cos(kx)，sin(kx)\}^∞_{k=0} {cos(kx)，sin(kx)}k=0∞​上而得到的坐标。换句话说，上述中的积分可以用内积重写为：
a k = 1 ∥ cos ⁡ ( k x ) ∥ 2 ⟨ f ( x ) , cos ⁡ ( k x ) ⟩ b k = 1 ∥ sin ⁡ ( k x ) ∥ 2 ⟨ f ( x ) , sin ⁡ ( k x ) ⟩ \begin{aligned} a_{k} &=\frac{1}{\|\cos (k x)\|^{2}}\langle f(x), \cos (k x)\rangle \\ b_{k} &=\frac{1}{\|\sin (k x)\|^{2}}\langle f(x), \sin (k x)\rangle \end{aligned} ak​bk​​=∥cos(kx)∥21​⟨f(x),cos(kx)⟩=∥sin(kx)∥21​⟨f(x),sin(kx)⟩​
其中， ∣ ∣ c o s ( k x ) ∣ ∣ 2 = ∣ ∣ s i n ( k x ) ∣ ∣ 2 = π {||cos (k x)||^{2}} = {||sin(k x)||^{2}} = \pi ∣∣cos(kx)∣∣2=∣∣sin(kx)∣∣2=π。

因子 1 π \frac{1}{\pi} π1​很容易通过即将 c o s ( x ) 2 cos(x)^2 cos(x)2和 s i n ( x ) 2 sin(x)^2 sin(x)2从$-\pi$和$\pi$的数值积分来验证。

在$[0，L)$上的一个$L$周期函数的傅里叶级数类似地由这样给出：
f ( x ) = a 0 2 + ∑ k = 1 ∞ ( a k cos ⁡ ( 2 π k x L ) + b k sin ⁡ ( 2 π k x L ) ) f(x)=\frac{a_{0}}{2}+\sum_{k=1}^{\infty}\left(a_{k} \cos \left(\frac{2 \pi k x}{L}\right)+b_{k} \sin \left(\frac{2 \pi k x}{L}\right)\right) f(x)=2a0​​+k=1∑∞​(ak​cos(L2πkx​)+bk​sin(L2πkx​))
系数 a k a_k ak​和 b k b_k bk​可由这样得到：
a k = 2 L ∫ 0 L f ( x ) cos ⁡ ( 2 π k x L ) d x b k = 2 L ∫ 0 L f ( x ) sin ⁡ ( 2 π k x L ) d x . \begin{aligned} a_{k} &=\frac{2}{L} \int_{0}^{L} f(x) \cos \left(\frac{2 \pi k x}{L}\right) d x \\ b_{k} &=\frac{2}{L} \int_{0}^{L} f(x) \sin \left(\frac{2 \pi k x}{L}\right) d x . \end{aligned} ak​bk​​=L2​∫0L​f(x)cos(L2πkx​)dx=L2​∫0L​f(x)sin(L2πkx​)dx.​
​ 因为我们用正弦和余弦函数展开函数，使用欧拉公式 e i k x = c o s ( k x ) + i s i n ( k x ) e^{ikx}=cos(kx)+isin(kx) eikx=cos(kx)+isin(kx)写一个具有复系数的复形式傅里叶级数 c k = α k + i β k c_k=α_k+iβ_k ck​=αk​+iβk​：
f ( x ) = ∑ k = − ∞ ∞ c k e i k x = ∑ k = − ∞ ∞ ( α k + i β k ) ( cos ⁡ ( k x ) + i sin ⁡ ( k x ) ) = ( α 0 + i β 0 ) + ∑ k = 1 ∞ [ ( α − k + α k ) cos ⁡ ( k x ) + ( β − k − β k ) sin ⁡ ( k x ) ] + i ∑ k = 1 ∞ [ ( β − k + β k ) cos ⁡ ( k x ) − ( α − k − α k ) sin ⁡ ( k x ) ] \begin{aligned} f(x)=\sum_{k=-\infty}^{\infty} c_{k} e^{i k x}=& \sum_{k=-\infty}^{\infty}\left(\alpha_{k}+i \beta_{k}\right)(\cos (k x)+i \sin (k x)) \\ =&\left(\alpha_{0}+i \beta_{0}\right)+\sum_{k=1}^{\infty}\left[\left(\alpha_{-k}+\alpha_{k}\right) \cos (k x)+\left(\beta_{-k}-\beta_{k}\right) \sin (k x)\right] \\ &+i \sum_{k=1}^{\infty}\left[\left(\beta_{-k}+\beta_{k}\right) \cos (k x)-\left(\alpha_{-k}-\alpha_{k}\right) \sin (k x)\right] \end{aligned} f(x)=k=−∞∑∞​ck​eikx==​k=−∞∑∞​(αk​+iβk​)(cos(kx)+isin(kx))(α0​+iβ0​)+k=1∑∞​[(α−k​+αk​)cos(kx)+(β−k​−βk​)sin(kx)]+ik=1∑∞​[(β−k​+βk​)cos(kx)−(α−k​−αk​)sin(kx)]​
如果$f(x)$是实值的，那么 a − k = a k a_{-k} = a_k a−k​=ak​和 β − k = − β k \beta_{-k}=-\beta_k β−k​=−βk​, so that c − k = c ˉ k c_{-k} = \bar{c}_k c−k​=cˉk​

图2.2：二维向量坐标的变化

​因此，$k\in Z$(即整数k)的函数 ψ k = e i k x ψ_k=e^{ikx} ψk​=eikx为区间$[0,2\pi )$上的周期复值函数提供了基础。很容易看出，这些函数是正交的：
⟨ ψ j , ψ k ⟩ = ∫ − π π e i j x e − i k x d x = ∫ − π π e i ( j − k ) x d x = [ e i ( j − k ) x i ( j − k ) ] − π π = { 0 if  j ≠ k 2 π if  j = k . \left\langle\psi_{j}, \psi_{k}\right\rangle=\int_{-\pi}^{\pi} e^{i j x} e^{-i k x} d x=\int_{-\pi}^{\pi} e^{i(j-k) x} d x=\left[\frac{e^{i(j-k) x}}{i(j-k)}\right]_{-\pi}^{\pi}=\left\{\begin{array}{cc} 0 & \text { if } j \neq k \\ 2 \pi & \text { if } j=k . \end{array}\right. ⟨ψj​,ψk​⟩=∫−ππ​eijxe−ikxdx=∫−ππ​ei(j−k)xdx=[i(j−k)ei(j−k)x​]−ππ​={02π​ if j​=k if j=k.​
​所以 < ψ j ， ψ k > = 2 π δ j k <ψ_j，ψ_k>=2πδ_{jk} <ψj​，ψk​>=2πδjk​，其中$\delta$是克罗内克增量函数。类似地，函数 e i 2 π k x / L e^{{i2πkx}/{L}} ei2πkx/L为 L 2 ( [ 0 ， L ) ) {L^2([0，L))} L2([0，L))的基础，平方可积函数的空间被定义在$x\in [0,L)$

​通常上，一个傅里叶级数只是一个函数$f(x)$变成一个由正弦和预先张成无限维的正交函数空间 ( ψ k = e i k x = c o s ( k x ) + i s i n ( k x ) ) (ψ_k=e^{ikx}=cos(kx)+isin(kx)) (ψk​=eikx=cos(kx)+isin(kx)):
f ( x ) = ∑ k = − ∞ ∞ c k ψ k ( x ) = 1 2 π ∑ k = − ∞ ∞ ⟨ f ( x ) , ψ k ( x ) ⟩ ψ k ( x ) f(x)=\sum_{k=-\infty}^{\infty} c_{k} \psi_{k}(x)=\frac{1}{2 \pi} \sum_{k=-\infty}^{\infty}\left\langle f(x), \psi_{k}(x)\right\rangle \psi_{k}(x) f(x)=k=−∞∑∞​ck​ψk​(x)=2π1​k=−∞∑∞​⟨f(x),ψk​(x)⟩ψk​(x)
其中， c k = 1 2 π < f ( x ) , ψ k ( x ) > c_k = \frac{1}{2\pi} ck​=2π1​<f(x),ψk​(x)>. 1 2 π \frac{1}{2\pi} 2π1​使 ψ k \psi_k ψk​归一化，比如 ∣ ∣ ψ k ∣ ∣ 2 = 2 π ||\psi_k||^2 = 2\pi ∣∣ψk​∣∣2=2π。这与标准有限维基变化概念一致，如图2.2所示。向量$f$可以通过正交投影写入$(x,y)$或者$(u,v)$坐标系。
f ⃗ = ⟨ f ⃗ , x ⃗ ⟩ x ⃗ ∥ x ⃗ ∥ 2 + ⟨ f ⃗ , y ⃗ ⟩ y ⃗ ∥ y ⃗ ∥ 2 = ⟨ f ⃗ , u ⃗ ⟩ u ⃗ ∥ u ⃗ ∥ 2 + ⟨ f ⃗ , v ⃗ ⟩ v ⃗ ∥ v ⃗ ∥ 2 \begin{aligned} \vec{f} &=\langle\vec{f}, \vec{x}\rangle \frac{\vec{x}}{\|\vec{x}\|^{2}}+\langle\vec{f}, \vec{y}\rangle \frac{\vec{y}}{\|\vec{y}\|^{2}} \\ &=\langle\vec{f}, \vec{u}\rangle \frac{\vec{u}}{\|\vec{u}\|^{2}}+\langle\vec{f}, \vec{v}\rangle \frac{\vec{v}}{\|\vec{v}\|^{2}} \end{aligned} f ​​=⟨f ​,x ⟩∥x ∥2x ​+⟨f ​,y ​⟩∥y ​∥2y ​​=⟨f ​,u ⟩∥u ∥2u ​+⟨f ​,v ⟩∥v ∥2v ​​

图2.3：（top）n=7时，帽子函数和傅里叶cos级数的近似；(middle)傅里叶余弦用于近似帽子函数，以及（bottom）放大小振幅和高频模式

Example: Fourier series for a continuous hat function （对于一个连续帽子函数的傅里叶级数）

作为一个简单的例子，我们演示了使用傅里叶级数来近似一个连续的帽函数，定义从−π到π：
f ( x ) = { 0 for  x ∈ [ − π , π / 2 ) 1 + 2 x / π for  x ∈ [ − π / 2 , 0 ) 1 − 2 x / π for  x ∈ [ 0 , π / 2 ) 0 for  x ∈ [ π / 2 , π ) f(x)=\left\{\begin{aligned} 0 & \text { for } x \in[-\pi, \pi / 2) \\ 1+2 x / \pi & \text { for } x \in[-\pi / 2,0) \\ 1-2 x / \pi & \text { for } x \in[0, \pi / 2) \\ 0 & \text { for } x \in[\pi / 2, \pi) \end{aligned}\right. f(x)=⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧​01+2x/π1−2x/π0​ for x∈[−π,π/2) for x∈[−π/2,0) for x∈[0,π/2) for x∈[π/2,π)​
​因为这个函数是偶数的，所以它可以单独用余弦来近似。随着余弦数的增加，$f(x)$的傅里叶级数如图2.3所示。

​图2.4展示了在增加模数时，偶数余弦函数系数 a k a_k ak​,以及近似误差。误差如预期的那样，单调地减小。对应于奇数正弦函数的系数 b k b_k bk​没有显示出来，因为它们同为零，因为帽子函数是偶数的。

图2.4：傅里叶系数。（上图）和傅里叶余弦近似与真函数的相对误差；（下图）用于图2.3中的帽子功能。n=7近似值用蓝色圆圈突出显示。

Example: Fourier series for a discontinuous hat function (非连续)

现在考虑一个非连续方形帽子函数，在$[0,L]$上定义，如图2.5所示。帽子函数按如下给出：
f ( x ) = { 0 for  x ∈ [ 0 , L / 4 ) 1 for  x ∈ [ L / 4 , 3 L / 4 ) 0 for  x ∈ [ 3 L / 4 , L ) f(x)=\left\{\begin{array}{ll} 0 & \text { for } x \in[0, L / 4) \\ 1 & \text { for } x \in[L / 4,3 L / 4) \\ 0 & \text { for } x \in[3 L / 4, L) \end{array}\right. f(x)=⎩⎨⎧​010​ for x∈[0,L/4) for x∈[L/4,3L/4) for x∈[3L/4,L)​

图2.5：吉布斯现象的特点是在不连续附近出现高频振荡。黑色曲线是不连续的，红色曲线是更接近的。

​
被截断的傅里叶级数被阶跃函数的尖角附近的振铃振荡所困扰，这被称为吉布斯现象。这个例子强调了将傅里叶级数应用于不连续函数：

图2.6:（上）傅里叶级数只适用于在域上具有周期性的函数$[-L，L)$。（下图）傅里叶变换对于一般的非周期函数是有效的。

总结

这一部分内容只针对傅里叶级数进行了介绍，傅里叶变换、离散傅里叶变换、快速傅里叶变换等内容请关注后续更新~~~

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！