Advanced Vision lecture 3 Optical Flow

temporal information: 时间信息

典型建模：
motion cues: 用cue points标记人/物，反映其移动时的姿态
比如刻画正在运动的一个人，或者发生冲突的几个人

Some Applications Involving Temporal Information:

• Action Recognition
• Structure from Motion
• Applications to Graphics
  …

Problem: 预测出时间戳t和t+1之间的图像

引出Optical Flow的定义:
Optical flow or optic flow is the pattern of apparent motion of objects, surfaces, and edges in a visual scene caused by the relative motion between an observer and a scene. (wiki)
也就是人眼中物体移动的模式
相对概念：motion field:物体实际移动的情况

sources of motion:
scene, camera…都有可能是移动的（2*2=4种情况）

表示视频的方式：(此处提到过去的Vision Experience)
这门课要有vision方面的prerequisites，必须课下补上readings

[算法]color/brightness constancy assumption：
根据颜色/亮度选择最近的点，视作该点上一帧的位置
Brightness Constancy 的数学表述：

Aperture Problem and Solving it:
光圈问题和解决方式：
Spatial Coherence Constraint:
假设实际不在一个平面的两点有相同的(u,v)
u，v是平面坐标？

没听懂

Optical Flow的Aliasing问题:
？ 发生偏移…

解决方式：Reduce resolution

Robust Estimation 的Penalty function:
全是平方，为了…？

数据集：

• Middlebury (2007)
• Sintel
• KITTI (2012)
• FlyingChairs（2015） 有足够数据训练CNN

不同的学习Optical Flow的网络结构：

• FlowNet
• SpyNet
• Self-Supervised Flow(自学习 不需要外部数据)

Backward flow就是forward flow反过来：

基础概念：
warp：图像扭曲
具体怎么扭曲有具体的warp function

Guest Talk:
谷歌学者Deqing Sun

从三个方面讲了关于Optical Flow:
1、Network
成就：构造了参数更小，Error而更小(Better Performance)的PWC-Net
2、Data
关于FlyingChair的一些问题，如何构造Optical flow的data set，实验效果(3~4个物体在sintel上表现最好等)
3、Application
比如谷歌官方已经推出的：脸部去除模糊，视频慢动作补全等

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！