Dual Attention Network for Scene Segmentation论文阅读翻译

Dual Attention Network for Scene Segmentation论文阅读&翻译

• 论文地址
• Abstract
• Introduction
• Dual Attention Network
• • Overview
  • Position Attention Module
  • Channel Attention Module
  • • Attention Module Embedding with Networks
• Experiments
• • PASCAL VOC
  • PASCAL Context
  • COCO Stuff

论文地址

论文链接:
https://arxiv.org/pdf/1809.02983.pdf.
源码连接：
https://github.com/junfu1115/DANet/.

Abstract

作者提出了DANet，使用全局依赖去自适应的整合局部特征。具体来说，是在带有空洞的FCN之上附加了两种类型的注意力模块，分别对空间和通道维度上的语义依赖性进行建模。位置注意模块通过所有位置上的特征的加权总和选择性地聚合每个位置上的特征。相似的特征不依赖于距离去建立联系。同时，通道注意力模块通过在所有通道图整合有关联的特征来有选择的突出相互预存的特征图。之后对两个注意力模块的输出求和，以进一步改善特征表示，这有助于更精确的分割结果。

Introduction

在像素级识别中，增强特征的辨别能力是必不可少的。进来基于FCN的方法也试图解决这个问题，一种方法是多尺度上下文融合，比如空洞卷积和池化，使用分解结构扩大内核大小或在网络之上引入有效的编码层，编解码结构等。另一种方法是采用循环神经网络来利用远程依赖性。
为了解决问题，作者提出了DANet，它引入了一种自注意力机制，以分别捕获空间和通道维度中的特征依赖关系。具体来说，在空洞FCN顶部附加两个并行注意力模块。一个是位置注意力模块，另一个是通道注意力模块。对于位置注意力模块，引入了自注意机制来捕获特征图的任意两个位置之间的空间依赖性。 对于特定位置的特征，将通过在所有位置上的加权总和对特征进行更新，其中权重由相应两个位置之间的特征相似性决定。 即具有相似特征的任何两个位置都可以相互促进，而无论它们在空间维度上的距离如何。对于通道注意力模块，使用类似的自关注机制来捕获任意两个通道映射之间的依赖关系，并使用所有通道图的加权和更新每个通道图。 最后，将这两个注意力模块的输出融合在一起，以进一步增强特征表示。

Dual Attention Network

Overview

给定场景分割的图片，东西或物体在比例，照明和视图上各不相同。 由于卷积运算将导致局部接收场，因此与具有相同标签的像素对应的特征可能会有一些差异。这些差异会导致类内不一致并影响识别准确性。 为了解决此问题，作者建立具有注意机制的特征图之间的关联来获得全局上下文信息。此方法可以自适应地聚合远程上下文信息，从而改善场景分割的特征表示。

总体结构如上图，使用一个带有空洞的预训练的残差网络作为骨干。作者删除了下采样操作，并在最后两个ResNet块中使用了空洞卷积，从而将最终特征图的大小扩大到输入图像的1/8。它保留了更多细节，而无需添加额外的参数。 然后，计算出来的特征特征将送入两个并行注意模块中。 以空间注意力模块为例，首先应用卷积层以获得维度减少了的特征。然后，我们将这些特征输入到位置注意模块中，并通过以下三个步骤生成空间远程上下文信息的新特征。第一步是生成一个空间注意矩阵，该矩阵对特征的任意两个像素之间的空间关系进行建模。接下来，我们在注意力矩阵和原始特征之间执行矩阵乘法。第三，我们对上面相乘的结果矩阵和原始特征执行逐元素求和运算，以获得反映远程上下文的最终表示。同时，通道注意力模块会捕获通道维度中的远程上下文信息。捕获通道关系的过程与位置注意力模块相似，但第一步是在通道维度中计算通道注意力矩阵。 最后，汇总两个注意力模块的输出，以获得更好的特征表示，以进行像素级预测。

Position Attention Module

如上图，给出局部特征 A ∈ R C × H × W A\in R^{C \times H\times W} A∈RC×H×W，首先将其送入卷积层以生成两个新的特征图$B$和$C$， { B , C } ∈ R C × H × W \{B,C\}\in R^{C \times H\times W} {B,C}∈RC×H×W，然后reshape到 R C × N , N = H × W R^{C \times N},N=H\times W RC×N,N=H×W，之后，在$C$和$B$的转置之间执行矩阵乘法，并应用softmax层来计算空间注意图 S ∈ R N × N S\in R^{N\times N} S∈RN×N,

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！