总结一下STN网络
- Localisation Net
Localisation Net 的目标是学习空间变换参数θ，无论通过全连接层还是卷积层，LocalisationNet 最后一层必须回归产生空间变换参数θ。
输入：特征图U ，其大小为 (H, W, C)输出：空间变换参数θ（对于仿射变换来说，其大小为（6，））结构：结构任意，比如卷积、全连接均可，但最后一层必须是regression layer来产生参数θ，记作θ= floc(U)
- Grid Generator
该层利用LocalisationNet 输出的空间变换参数θ，将输入的特征图进行变换，这个决定了变换前后图片U、V之间的坐标映射关系。
以仿射变换为例，将输出特征图上某一位置(xit,yit)通过参数θ映射到输入特征图上某一位置(xis,yis)，上标t表示target，上标s表示source，计算公式如下：
输入target坐标，获取对应的原图片坐标，然后把原图片坐标上的灰度值给复制过来。
3. Sampler
Sampler根据步骤2 GridGenerator产生的坐标映射关系，把输入图片U变换成输出图片V。
在计算中， (xis,yis)往往会落在原始输入特征图的几个像素点中间，因此需要利用双线性插值来加权平均(xis,yis)周围点的灰度值，然后复制给输出图片V
4.特点
Localisationnet、Grid generator、Sampler三者都是可微的，因此它们可以插入到正常的网络构架中，通过反向传播更新参数，无需额外的监督信息。
STN的主要特点：
-
模块化：STN可以插入到现有深度学习网络结构的任意位置，且只需要较小的改动。 -
可微分性：STN是一个可微分的结构，可以反向传播，整个网络可以端到端训练。 -
不需要额外的监督信息
5.实验结果
对MINST数据集做了rotation®, rotation, scale and translation (RTS), projective transformation §, andelastic warping (E)，获得输出的图片V。然后计算STN输出的图片V’的误差，进行监督学习
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！