Peeking into occluded joints: A novel framework for crowd pose estimation
论文：Peeking into occluded joints: A novel framework for crowd pose estimation
代码：即将开源，后期更新
年份：2020CVPR
现有遮挡研究方法的内在问题
缺陷一：它们根据视觉信息直接定位关节；然而，看不见的关节缺乏这一点。
本论文解决方案：提出一个 Image-Guided Progressive GCN module，从推理的角度估计看不见的关节，该模块提供了对图像上下文和姿态结构的全面理解。
缺陷二：现有的基准测试包含有限的评估。
本文解决方案：彻底解决了这个问题，并提出了一个新颖的OPEC-Net框架以及一个带有9k批注图像的新“遮挡姿势”（OCPose）数据集。
为揭示隐藏的关节，有必要有一个全面的推理方法，而不是简单的定位。
线索：
由于，无形的关节与对图像的上下文理解和对人体 姿势的结构理解密切相关。例如，人类可以很容易地使用从动作类型和图像上 下文导出的线索来推断看不见的关节的位置。本文深入研究了隐形关节推理所需的线索，并提出了一种新的框架 OPEC-Net，将这些线索结合起来进行 多人姿态估计。该框架有两个阶段：初始姿态估计和基于 GCN 的姿态校正。第一阶段生成热图以产生初始姿态，随后的校 正阶段通过图像引导渐进 GCN(IGP-GCN)模块调整从热图中获得的初始姿态。
- （1）人体结构提供关节之间的基本约束信息。因此，校正模块被设计成一个基于 GCN 的网络， 它提供了一种明确的方法来建模有利于校正关节的身体结构信息。
- （2）推断隐形关节的另一个重要线索是它们的相关图像上下文。考虑到这一点，GCN 网络是以图像引导的方式设计的：IGP-GCN 既提供关节的坐标，也提供在关节 位置提取的图像特征，作为每个图形节点的输入。 因此，热图模块的多尺度图像特征以渐进的方式输入 IGP-GCN，从而稳定地学习大位移。这使得 IGP-GCN 不仅能够捕获姿态结构信息，而且能够同时捕获上下文图像信息。
- （3）在人群场景中，人类互动信息对于推断姿势至关重要。 因此，进一步通过连接两个实例的相应关节来建立一个对偶图，使这对人之间的相互作用也有助于我们 的估计结果。 然而，所学习的用于热图估计的多尺度图像特征与坐标校正模块不兼容。 因此，引入了一种级联特征适配(C FA)策略来首先处理特征：由于更精细的图像特征丢失了更多的全局上下文信息，我们在级联设计之后将低级特 征与高级特征融合起来，以加强它们的上下文信息。
本文提出的热图模块和坐标 GCN 模块在我们的框架中是互补的：从热图 模块引入的量化误差可以由 IGP-GCN 解决，同时，热图模块为 IGP-GCN 提供 了一个更准确的初始值，有利于校正。
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！