[PTAM] Map

이번 시간에는 PTAM의 첫 번째 시스템 3D Map에 대해 자세히 소개하겠다. PTAM에 대한 대략적인 설명, PTAM과 SLAM의 비교 내용은 아래 링크에서 확인 가능하다.

https://sim0609.tistory.com/entry/PTAM1

[PTAM] PTAM vs. SLAM

Map

PTAM의 Map은 크게 Points와 Key frames으로 구성된다. 

Points

Map의 points는 map을 구성하는 Real World의 특징적인 점에 해당되고, points는 다음과 같은 3가지 정보를 담고 있다.

 

1. point는 world coordinate으로 표현되며, point가 map 내에 어디에 위치하고 있는지에 대한 3D 정보를 포함한다.

 

2. point는 frame 내에서 어떤 방향을 향하고 있는지 normal vector로 표현될 수 있으며, 2D 정보를 포함한다.

 

** normal vector: point가 위치한 표면의 방향성을 나타내는 벡터로 2D image에서 point의 patch 기울기나 방향성을 정의한다. 이 정보는 AR 환경에서 가상 객체를 현실 세계에 정확히 정렬하고 배치하는 데 중요한 역할을 한다.

 

3. point는 key frame에서 처음 발견됐을 때 point의 색상이나 패턴을 담은 이미지 영역에서의 정보 포함하는데, 이걸 Patch 정보라고 한다.

 

이렇게 각 point는 3D 위치 정보와 2D 시각적인 정보를 모두 포함한다. 

Key Frames

이전 글에서도 언급했지만, Key frame은 Real World의 특징적인 정보를 잘 담은 2D image면서 카메라의 시점 변화가 명확하게 존재하는 2D image를 포함하고, 이때 camera pose도 해당 2D image에 대해 어느정도 잘 추정한 값을 포함한다.

 

여기서 Key frame과 Frame 둘 다 아래 그림과 같이 총 4 단계의 pyramid 구조로 된 grayscale의 이미지를 저장한다. 정리하자면, Key frame은 총 4개의 이미지 데이터와 camera pose를 포함한다.

Key frame에 존재하는 image의 pyramid level

Pyramid level 0: full resolution, 640 x 480

Pyramid level 1: x/2 x y/2, 320 x 240

Pyramid level 2: x/4 x y/4, 160 x 120

Pyramid level 3: x/8 x y/8, 80 x 60

Patch

Map의 point에서 언급하긴 했지만, patch에 대한 설명을 예시와 함께 좀 더 자세히 설명하려 한다. 우선, patch는 point가 처음 발견된 key frame(source key frame)의 4단계 중 하나의 pyramid level에 있는 이미지 pattern 정보이다.

 

해당 정의를 예를 들어 쉽게 설명하자면, 아래 이미지처럼 3D map에 A라는 point가 존재할 때 여기 point A는 source key frame의 4개의 이미지들(pyramid level 0 ~ pyramid level 3) 중 하나의 이미지에서 8x8 정사각형 패턴에 해당하는 이미지 영역에 대한 정보를 포함하고 있다고 생각하면 된다.

Map point의 patch 정보

 

>> 다음 시간에 PTAM을 구성하는 시스템 중 Tracking에 대해 자세히 설명하겠다.

https://sim0609.tistory.com/entry/PTAM-Tracking

[PTAM] Tracking