任务:给定2D图像,给出检测车辆的3D属性(距离,旋转,外形)
贡献分为3方面:
1)20× larger than PASCAL3D+ and KITTI,5, 277 images, 60K instances
2)实现了2个baseline的算法,基本步骤分为两部:1. 用预训练的Mask R-CNN分割car;2.回归其3D的pose与形状(根据使用或者不使用语义关键点分为两套方案)
3)提出了同时考虑3D的pose和shape的metric
现有的具有3D instances的datasets对比:
注意作者在构建数据集的3D keypoint的groundtruth的时候,采用了一些优化辅助,对于足够利用关键点回归出的车仅使用PnP loss,但对于遮挡较大的车(关键点不足以得到准确的回归)新增loss以校准,该loss的定义原则就是和附近估计比较准确的车辆的一些位姿量尽可能接近,如roll角度分量(假设靠近的车地面起伏很小)。后续还需要人工最终修正调整确认。
该数据集使用了非常丰富的关键点(多达66个),如图所示:
但个人感觉似乎从实用的角度来讲,可能不太需要那么多的关键点;同时对于任意异形车,关键点基本都是失效的,所以过多的关键点略微显得有那么些吃力不讨好。
整体两套baseline的方案基于3D-RCNN以及DeepMANTA,主要创新有:
1) 全像素回归pose和shape
2) 引入self-attention机制
3)之前提到的利用附近车辆辅助被遮挡车辆的估计
在评价metric中,作者将threshold扩展为shape,translation,rotation三者的联合判定,注意shape部分是将3D投影回2D进行IoU计算的:
并取多种阈值进行组合进行指标评估:
最后给出2个baseline可视化的对比:
下面坐等dataset release~
update------------------------------------20190319
向作者问到了数据集的位置,动起手来~: