数字图像处理

• 1、 数学相关领域知识
• • 1.1 高等数学
  • • 1.1.1 傅里叶
    • 1.1.2 分布
    • 1.1.3 泰勒
  • 1.2 线性代数
  • 1.3 概率论与统计
• 2、图像领域算法
• • 2.1 图像分类（识别）
  • 2.2 图像分割
  • 2.3 图像增强复原
  • 2.4 图像形态学
  • 2.5 图像特征匹配
• 3、数字图像处理-冈
• • 3.1 空间坐标变换
  • 3.2 颜色模型
• X、 图像领域小概念（知识）
• XX、 图像领域
• • 1、工程师所需技能
  • X、观影小知识

1、 数学相关领域知识

1.1 高等数学

1.1.1 傅里叶

1、图像处理之离散傅里叶变换（DFT）
2、傅里叶级数
设$f(x)$是周期为$2\pi$的周期函数，且能展开成三角级数
f ( x ) = a 0 2 + ∑ n = 1 ∞ ( a n c o s n x + b n s i n n x ) f(x)=\frac{a_{0}}{2}+\sum_{n=1}^{\infty }(\, a_{n}cos\, nx+b_{n}sin\, nx\, ) f(x)=2a0​​+∑n=1∞​(an​cosnx+bn​sinnx)
a 0 = 1 π ∫ − π π f ( x ) d x . a_{0}=\frac{1}{\pi }\int_{-\pi }^{\pi }f\left ( x \right )dx. a0​=π1​∫−ππ​f(x)dx.
a n = 1 π ∫ − π π f ( x ) c o s n x d x ( n = 0 , 1 , 2 , 3 , . . . ) . a_{n}=\frac{1}{\pi }\int_{-\pi}^{\pi}f(x)cos\: nxdx\: \: (n=0,1,2,3,...). an​=π1​∫−ππ​f(x)cosnxdx(n=0,1,2,3,...).
b n = 1 π ∫ − π π f ( x ) s i n n x d x ( n = 1 , 2 , 3 , . . . ) . b_{n}=\frac{1}{\pi }\int_{-\pi}^{\pi}f(x)sin\: nxdx\: \: (n=1,2,3,...). bn​=π1​∫−ππ​f(x)sinnxdx(n=1,2,3,...).

1.1.2 分布

正态分布（高斯分布）

1.1.3 泰勒

浅显易懂——泰勒展开式

1.2 线性代数

所谓的特征值和特征向量
奇异值分解(SVD)原理详解及推导
奇异矩阵与非奇异矩阵

雅可比矩阵几何意义的直观解释及应用
雅可比矩阵和行列式（Jacobian）
矩阵分析——QR分解

1.3 概率论与统计

期望， 方差， 协方差，标准差
终于明白协方差的意义了

2、图像领域算法

2.1 图像分类（识别）

LMS(Least mean square) 最小均方算法， $J(\theta )$是损失函数

2.2 图像分割

opencv——KMeans函数可用于图像分割。

2.3 图像增强复原

2.4 图像形态学

图像解析力 MTF算法是分析镜头解像能力的算法，其全称是Modulation Transfer Function(调制传递函数)。SFR（spatial frequency response）表示空间频率响应，表示的也是相机的解像能力，在这个层面上，MTF与SFR是一样的意思。
【图像处理】SFR算法详解1
【图像处理】SFR算法详解2
点扩展函数PSF(Point Spread Function)、线扩展函数LSF(LineSpread Function)和边缘扩展函数ESF(Edge Spread Function)
ISP基本框架及算法介绍

opencv中，对于一张二值化的图像，后续处理方式有两种。第一种方式就是利用findContours、drawContours等函数进行轮廓分析（opencv以对轮廓的处理为主）。第二种方式就是计算连通域进行区域分析，计算连通域的函数有两个（一个是带统计信息，一个不带统计信息）。

2.5 图像特征匹配

SIFT特征点提取-尺度不变特征转换(Scale-invariant feature transform或SIFT)
SIFT算法详解
SIFT、SURF、ORB

3、数字图像处理-冈

3.1 空间坐标变换

计算机视觉：相机成像原理：世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换
仿射变换一般形式：

[ x y 1 ] = [ v w 1 ] T = [ v w 1 ] [ t 11 t 12 0 t 21 t 22 0 t 31 t 32 1 ] \begin{bmatrix} x & y & 1 \end{bmatrix}=\begin{bmatrix} v & w & 1 \end{bmatrix}T=\begin{bmatrix} v & w & 1 \end{bmatrix}\begin{bmatrix} t_{11}& t_{12}& 0\\ t_{21}& t_{22}& 0\\ t_{31}& t_{32}& 1 \end{bmatrix} [x​y​1​]=[v​w​1​]T=[v​w​1​] ​t11​t21​t31​​t12​t22​t32​​001​ ​

给定图像中灰度级 z k z_{k} zk​出现的概率 p ( z k ) p(z_{k}) p(zk​)可估计为： p ( z k ) = n k M N p(z_{k})=\frac{n_{k}}{MN} p(zk​)=MNnk​​
式中 n k n_{k} nk​是灰度 z k z_{k} zk​在图像中出现的次数，$MN$是像素总数。 平均灰度由下式给出：
m = ∑ k = 0 L − 1 z k p ( z k ) m=\sum_{k=0}^{L-1}z_{k}p(z_{k}) m=∑k=0L−1​zk​p(zk​)
类似地，灰度的方差是 σ 2 = ∑ k = 0 L − 1 ( z k − m ) 2 p ( z k ) \sigma ^{2}=\sum_{k=0}^{L-1}(z_{k}-m)^{2}p(z_{k}) σ2=∑k=0L−1​(zk​−m)2p(zk​)
方差是$z$值关于均值的展开度的度量，因此它是图像对比度的有用度量。通常，随机变量$z$关于均值的第$n$阶矩定义为： μ n ( z ) = ∑ k = 0 L − 1 ( z k − m ) n p ( z k ) \mu _{n}(z)=\sum_{k=0}^{L-1}(z_{k}-m)^{n}p(z_{k}) μn​(z)=∑k=0L−1​(zk​−m)np(zk​)

基本灰度变换函数
图像增强常用的三类基本函数：
（1）线性函数（反转和恒等变换）
（2）对数函数（对数和反对数变换）
（3）幂律函数（n次幂和n次根变换）
图像相减经常用于增强图像之间的差别。
直方图处理（直方图是多种空间域处理技术的基础，直方图操作可用于图像处理）
直方图均衡化（同冈萨雷萨）
形态学处理–>膨胀、腐蚀、开操作和闭操作

形态学中最基本的操作是膨胀和腐蚀，他们能实现很多功能：例如消除噪声、分割出独立的图像元素以及在图像中连接相邻的元素等。

开操作：先腐蚀运算，再膨胀运算

闭操作：先膨胀运算，再腐蚀运算

3.2 颜色模型

RGB、HSV、YUV相互转换
RGB颜色对照表
RGB颜色对照表（包括颜色、RGB各值和十六进制值）

C++|OpenCV-HSV图像

SG平滑算法（又称多项式平滑算法）

RANSAC算法理解-Random Sample Consensus（随机抽样一致性）

9、CMOS图像传感器的原理与应用–from B站
10、ORB算法原理解读
11、
12、
13、
14、
​

X、 图像领域小概念（知识）

名称	解释
色差（英语：Chromatic Aberration，简称CA）	指光学上透镜无法将各种波长的色光都聚焦在同一点上的现象，色差是由于镜头散射现象而造成的，图像中的物体周围特别是高对比度的情况下可能出现模糊或明显的色彩边缘（红、绿、蓝、黄、紫、洋红）就称之为色差。 色差产生的原因：透镜对不同波长的色光有不同的折射率（色散现象），使用三棱镜可以得到最佳验证。 根据不同平面的波长色散，色差可以分为两种类型：纵向色差(称为“LoCA”) 和 横向色差。
果冻效应rolling shutter
色散（Dispersion）
颜色空间	三分钟带你快速学习RGB、HSV和HSL颜色空间。RGB 颜色空间适合于显示系统，却并不适合于图像处理。HSV颜色空间 表达彩色图像的方式由三个部分组成：Hue（色调、色相）、Saturation（饱和度、色彩纯净度）、Value（明度）。 RGB颜色空间更加面向于工业，而HSV更加面向于用户，大多数做图像识别这一块的都会运用HSV颜色空间，因为HSV颜色空间表达起来更加直观！HSL 和 HSV 比较类似，这里一起介绍。HSL 也有三个分量，hue（色相、色调）、saturation（饱和度）、lightness（亮度），取其首字母成为HSL。HSL颜色空间， HSL和 HSV 的区别就是最后一个分量不同，HSL 的是 light(亮度)，HSV 的是 value(明度)。可以到这个 学习网页 尝试一下。提取白色物体时，使用HSL 更方便，因为 HSV 中的Hue里没有白色，白色需要由S和V共同决定（S=0, V=100）。而在HSL 中，白色仅由亮度L一个分量决定。所以检测白色时使用 HSL 颜色空间更准确。
对比度拉伸	对比度拉伸的原理简单来说就是把比较窄的灰度级范围，扩展到整个灰度范围上，让明暗更加分明。 对比度拉伸是图像增强的一种方法，也属于灰度变换操作。HSV 的对比度拉伸增强就是对 S 和 V 两个分量进行归一化(min-max normalize)即可，H 保持不变。
3A算法	3A算法—自动曝光（AE） 、3A算法—自动对焦（AF）、自动白平衡技术（AWB）
pclk	是控制像素输出的时钟，即pixel采样时钟，一个clk采集一个像素点 , 单位MHz。表示是每个单位时间内（每秒）采样的pixel数量。
H_Blank / V_Blank	**H_Blank：**是指行消隐或称水平消隐，如下帧结构示意图所示，假定曝光起始位置在图像的左上角，对于逐行曝光的 sensor 来说，曝光从第一个像素开始，依次曝光直至这行的最后一个像素曝光结束，这时曝光位置要从此行的尾部快速移动到下一行的头部，开始下一行的曝光，这段行与行之间的返回过程称为H_Blank。**V_Blank：**是指场消隐或称垂直消隐，如下帧结构示意图所示，假定曝光起始位置在图像的左上角，曝光完成一帧图像后，曝光位置要从图像的右下角返回左上角，开始新一帧的曝光，这一段时间间隔称为V_Blank。
ISP Tuning
颜色编码	RGB 颜色编码： RGB 图像中，每个像素点都有红、绿、蓝三个原色，其中每种原色都占用 8 bit，也就是一个字节，那么一个像素点也就占用 24 bit，也就是三个字节。例如：一张 1280 * 720 大小的图片，就占用 1280 * 720 * 3 / 1024 / 1024 = 2.63 MB 存储空间。YUV 颜色编码： 采用的是 明亮度 和 色度 来指定像素的颜色。其中，Y 表示明亮度（Luminance、Luma），而 U 和 V 表示色度（Chrominance、Chroma）。而色度又定义了颜色的两个方面：色调和饱和度。和 RGB 表示图像类似，每个像素点都包含 Y、U、V 分量。但是它的 Y 和 UV 分量是可以分离的，如果没有 UV 分量一样可以显示完整的图像，只不过是黑白的。对于 YUV 图像来说，并不是每个像素点都需要包含了 Y、U、V 三个分量，根据不同的采样格式，可以每个 Y 分量都对应自己的 UV 分量，也可以几个 Y 分量共用 UV 分量。 补充： 对于图像显示器来说，它是通过 RGB 模型来显示图像的，而在传输图像数据时又是使用 YUV 模型，这是因为 YUV 模型可以节省带宽。因此就需要采集图像时将 RGB 模型转换到 YUV 模型，显示时再将 YUV 模型转换为 RGB 模型。 转换公式：YUV采样方式有三种：YUV 4:4:4 采样；YUV 4:2:2 采样；YUV 4:2:0 采样
Raw格式图像	这里要说明从RAW图到JEPG有一系列复杂的图像信号处理过程，称作ISP（Image Signal Processing）
连通域	一般分为4邻域和8邻域。 连通区域（connected component）：图像中具有相同的像素值且相邻的区域。连通区域分析一般是针对二值图像，将具有相同像素值且相邻的像素找出来并标记。
傅里叶变换	傅里叶分析之掐死教程（完整版）

XX、 图像领域

1、工程师所需技能

图像处理算法工程师——必备技能

X、观影小知识

试验表明，观看图像的最佳距离应当是画面高度的4倍至5倍，这时的总视角约为15度，在这种情况下，可以保证人眼不转动就能看到完整的画面。

​

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！