AI 名词解释、图像素材、学习资料
人生成熟的三个阶段，认识到父母很普通，认识到自己很普通，认识到孩子很普通。
前言
写这一篇文章的主要原因是因为在看论文的时候，有些名词真的对新手不友好。我看了论文也看不懂，有些只好请教我的老师才得以知道……简单对这些遇到的名词记录下，方便读者看论文。
可以简单看看「王垠」对于计算机视觉的理解的文章吧。
- 机器与人类视觉能力的差距（1）
- 机器与人类视觉能力的差距（2）
- 机器与人类视觉能力的差距（3）
目录在全文的最末，跳转
名词解释
简单名词性解释
| 概念 | 说明 |
|---|---|
| 张量 | 多维数组。 |
| 深度学习 | 深层神经网络。深层神经网络是多层非线性变换最常用的一种方法。精确定义：一类通过多层非线性变换对高复杂性数据建模算法的合集。 |
| 线性模型的最大的局限性 | 只通过线性变换，任意层的全连接神经网络和单层神经网络模型的表达能力没有任何区别，而且它们都是线性模型。然而线性模型能够解决的问题是有限的，这就是线性模型的最大的局限性。 |
| 组合特征提取 | 深层神经网络实际上有组合特征提取的功能。这个特性对于解决不易提取特征向量的问题（比如图片识别、语音识别等）有很大的帮助。 |
| 过拟合 | 可以通过正则化，加参数来使得模型无法完美拟合数据来避免。 |
| concatenate | 类似于Python concat的操作。 神经网络中concatenate和add层的不同 - KUN的博客 - CSDN博客 |
| 上采样和下采样 | 上采样和下采样：上采样即以数量多一方为准，扩充少的一方；下采样就是从数量多的一方随机抽取和数量少的一方的样本数量。 上采样，在Caffe中也被称为反卷积（Deconvolution），可能叫做转置卷积（conv_transpose）更为恰当一点。 机器学习中欠拟合和过拟合/上采样和下采样 - nextdoor6的博客 - CSDN博客 |
| CRFs | Conditional random fields，条件随机场。 Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials - Orville的博客 - CSDN博客 |
| IU、IoU | 交并比。 深度学习中IU、IoU(Intersection over Union)的概念理解以及python程序实现 - OLDPAN的博客 - CSDN博客 |
| fine-tuing | 微调。 |
| Stride | 步进值，是在使用滤波器在输入矩阵上滑动的时候，每次滑动的距离。Stride值越大，得到的Feature Map的尺寸就越小。 常用机器学习算法汇总比较(完） - 掘金 |
| Zero-padding | 有时候在输入矩阵的边界填补0，这样就可以将滤波器应用到边缘的像素点上，一个好的Zero-padding是能让我们可以控制好特征图的尺寸的。使用改方法的卷积叫做wide convolution，没有使用的则是narrow convolution。 |
| 深度（Depth） | 深度等于滤波器的数量。 |
| BN | Batch Normalization，批标准化。 |
| LRN | 全称为Local Response Normalization，中文名称为局部响应归一化层。 |
| ReLU | Rectified Linear Units，整流线性单元。 作用：神经网络激励函数。 神经网络激励函数的作用是什么？有没有形象的解释？ - 知乎 |
| Basic | 论文中Basic指的是浅层网络。 |
| Removing max pooling | 由于maxpool会引入更高频的激活，这样的激活会随着卷积层往后传播，使得grid问题更明显。 |
| Adding layers | 在网络最后增加更小空洞率的残参block, 有点类似于HDC。 |
| Removing residual connections | 去掉残参连接，防止之前层的高频信号往后传播。 |
| Max Pooling | 最大池化层。 更多请查看：CNN卷积神经网络算法之Max pooling池化操作学习 |
| Dropout | 随机失活（dropout）是对具有深度结构的人工神经网络进行优化的方法，在学习过程中通过将隐含层的部分权重或输出随机归零，降低节点间的相互依赖性（co-dependence ）从而实现神经网络的正则化（regularization），降低其结构风险（structural risk）。 原理解析可以看看这篇文章：深度学习中Dropout原理解析 。 |
| Group Conv | 分组卷积——深度学习之群卷积(Group Convolution) 可以看看：王井东研究员在CSDN上对IGC Block做的讲座 |
| channel通道 | 一般 channels 的含义是，每个卷积层中卷积核的数量。 【CNN】理解卷积神经网络中的通道 channel |
| Multiply-Adds | 乘加，指的是模型的计算量。 |
计算机视觉概念
| 概念 | 说明 |
|---|---|
| low-level version 低级视觉 | which concerns the extraction of image properties from the retinal image. 主要关注的是从视网膜图像中提取图像的特性。 |
| middle-level vision 中级视觉 | which concerns the integration of image properties into perceptual organizations. 主要关注是将图像特性整合到知觉组织中。 |
| high-level vision 高级视觉 | which concerns the everyday functionality of perceptual organizations. 主要关注的是知觉组织的日常功能。 |
数学概念
激活函数
激活函数实现去线性化。激活函数可以加入激活函数和偏置项。
f ( x W ( 1 ) + b ) , b 为 偏 置 项 f(xW^{(1)}+b),b为偏置项 f(xW(1)+b),b为偏置项
- 更多的激活函数可见：激活函数
- 为什么需要激活函数：https://zhuanlan.zhihu.com/p/32824193
- 我觉得你应该看看博主写的东西，才能对激活函数有个比较充分的了解。
- 如果我们的神经网络函数是线性的，那么它的导数就是个常数，意味着Gradient和 X X X无关了，也就意味着和输入无关了。
- 我们在做反向传播的时候，Gradient的改变也变成常数和输入的改变 X ( d e l t a ( x ) ) X(delta(x)) X(delta(x))无关了。
- 这个时候，就是我们激活函数（Activation Function）上场了，它对于提高模型鲁棒性，非线性表达能力，缓解梯度消失问题，将特征图映射到新的特征空间从而更有利于训练，加速模型收敛等问题都有很好的帮助。
- 神经网络激励函数的作用是什么？有没有形象的解释？
损失函数
- 神经网络模型的效果以及优化的目标是通过损失函数(
Loss Function)来定义的 。Softmax：将神经网络前向传播的到的解决变成概率分布。Softmax回归本身可以作为一个学习算法来优化分类结果，但在 TensorFlow中，Softmax回归的参数被去掉了，它只是一层额外的处理层，将神经网络的输出变成一个概率分布 。- 均方误差也是分类问题中的一种损失函数。
- 机器学习-损失函数
Softmax
- softmax分类器
- Logistic 分类器与 softmax分类器 - 殷大侠 - 博客园
- 指数分布族（The Exponential Family)与广义线性回归（Generalized Linear Model GLM） - bitcarmanlee的博客 - CSDN博客
- 广义线性模型（Generalized Linear Model）
L 1 L o s s L_1\ Loss L1 Loss和
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！