CVPR 2019 《Cross-Modal Relationship Inference for Grounding Referring Expressions》论文笔记
目录
- 简介
- 动机
- 方法
- 实验
简介
下载链接
动机
已有方法不能准确地、一致地表示两种模态（referring expressions、object proposals）的上下文关系，具体为：
- 要么不能准确建模，要么不能达到跨模态的高阶一致性。
- 计算出的pairwise visual differences只能代表同类对象之间、instance-level的差异。
- 要么不支持关系建模，要么只考虑一阶关系。
- 由于多阶关系是结构化的信息，现有的上下文编码器无法对其建模。
方法
以regions为结点构图，将结点和word对齐，再进行图卷积。
实验
在RefCOCO、RefCOCO+和RefCOCOg上的实验结果：
Ablation study：
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！