神经网络的理解——感受野（相关文章解读）
背景知识：(1条消息) 深度理解感受野（一）什么是感受野？_黑夜里游荡的博客-CSDN博客_感受野
感受野的定义：
One of the basic concepts in deep CNNs is the receptive field, or field of view, of a unit in a certain layer in the network. Unlike in fully connected networks, where the value of each unit depends on the entire input to the network, a unit in convolutional networks only depends on a region of the input.This region in the input is the receptive field for that unit.
文章地址：Computing Receptive Fields of Convolutional Neural Networks (distill.pub)
理论上解释神经网络的原理：
feature visualization（特征可视化）
theoretical guarantees（理论证明）
model interpretability （模型可解释性）
generalization（普遍性）
文章认为联系输入信号和输出特征的关键要素就是感受野（receptive field）,这篇文章的主要工作是数学推导出高效的公式去计算卷积神经网络的感受野和建立开源库来计算感受野。
感受野这个概念的意义在于，不同的感受野可以提取不同尺度的特征，（类比下来，人在观察不同远近的物体的时候眼睛也会进行变焦）
模型的建立主要用了以下四个参数：kl,sl,pl,ql,具体含义见下图
感受野的计算分Single-path networks(比如VGG)和multi-paths networks（比如Resnet，googlenet）两种
一、Single-path networks
1.计算感受野的大小
情况一，由kl ql sl计算rl-1
fl-1是输入层，卷积之后得到了fl层，由图中可以看到，fl-1层中kl个格子和fl层中的一个格子相关联（蕴含相同的信息），所以说rl-1（fl-1的感受野）是kl
情况二 由rl 计算rl-1
由此可以总结出公式：（不考虑padding）
2.计算感受野的起止位置（范围）
起：
末：
由此可以得到几个结论：
结论一，感受野和感受野范围的关系：
结论二：高效的stride和padding
结论三 感受野的中心
二、任意计算图表(multi-paths networks)
和Single-path networks不一样的是，感受野的范围可能随着位置发生改变，因为实际上的感受野是不同支路感受野的交集，如果重叠范围发生了变化感受野范围就会变化（如下两张图）
三、结论部分
现有的一些网络的感受野：
感受野越大，原始图像中的信息利用率越大，分类的准确度也会提升（相对的），数据支撑如下图。由此可以推测对于高分辨率任务，也即细节比较多的任务，我们需要采用感受野大的算法，但是由此会降低分辨效率（ large receptive fields are necessary for high-level recognition tasks, but with diminishing rewards.）
文章最后还强调了其他的一些影响神经网络性能的因素：Other factors play a very important role: network depth (i.e., number of layers) and width (i.e., number of filters per layer), residual connections, batch normalization, to name only a few. In other words, while we conjecture that a large receptive field is necessary, by no means it is sufficient.即，网络深度、宽度、残差连接、BN（归一化操作吧）等等。并且文章还指出，越靠近感受野中心位置的信息对神经网络判断的影响就越大，为其他研究者提供了新的研究思路。
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！