Optical flow
시공간 이미지 밝기 변화를 통해 각 픽셀의 이미지 움직임을 복원한다
Feature‐tracking
시각적 특징(corner, textured area)을 추출하고 여러 프레임에 걸쳐 이를 추적한다
Optical flow
한 장의 영상에 두 장의 영상을 가지고 intensity의 흐름을 본다
이미지에서 밝기 패턴의 겉보기 움직임이다
겉보기 움직임은 실제 움직임 없이 조명 변화에 의해 발생할 수 있다
목표는 optical flow를 통해 각 픽셀의 이미지 움직임을 복원하는 것이다
단점
- 움직임 uv가 edge를 따라서 다오면 추정하기 어렵다
Estimating optical flow
두 연속 프레임이 주어지면, 그 사이의 겉보기 움직임 필드를 추정한다
주요 가정은
brightness constancy : 동일한 점을 투영한 것은 모든 프레임에서 동일하게 보인다
small motion : 점들이 멀리 이동하지 않는다
spatial coherence : 점들은 이웃과 비슷하게 이동한다
★ The Brightness Constancy Constraint
밝기를 u,v만큼 이동시켜도 변하지 않고 비슷할 것이라는 가정에서 시작한다
따라서 J와 I의 차이점인, 이동량 \(E(u,v)\)를 최소화해야한다
한 프레임에서 (u,v)만큼 이동한 intensity를 \(J(x,y)\) 에서 뺀다
편미분 해서 0이되는 부분을 찾으면 u,v의 최소값을 찾을 수 있다
일반적으로 \(I_x, I_y\) 는 0이 아니다
즉 어떤 u,v로 이동하였을 때 \(E(u,v)\) 가 최소화 되는지를 찾는다
Lucas‐Kanade flow
픽셀의 이웃들이 동일한 (u,v)를 가진다고 가정한다
작은 윈도우 내의 픽셀들이 함께 이동한다 (공간 연속성 제약)
5x5 윈도우를 사용하면 픽셀당 25개의 방정식을 얻을 수 있다
윈도우 내 모든 픽셀에 밝기 일관성 제약을 적용한다
