Computer Vision에서 3차원의 world object가 2차원의 image에 어떻게 투영되는지에 대해 자세히 설명하고자 한다.

위 그림에서 World Coordinate(월드 좌표계)과 Camera coordinate(카메라 좌표계)는 3차원 좌표계이고, Normalized Image Coordinate System(정규 좌표계)과 Pixel Image Coordinate System(픽셀 좌표계)은 2차원 좌표계이다. 이제부터 차례대로 각 좌표계의 의미를 살펴보도록 하자.
World Coordinate System
실제 세계에서 우리가 object의 위치를 표현하고자 할 때 기준으로 두는 좌표계를 의미한다. 좌표계의 기준은 원하는 기준으로 설정할 수 있고, 좌표계의 단위 또한 meter, centimeter 등 원하는 단위로 설정해 둘 수 있다. 단, 좌표계 기준과 단위를 설정했다면, 모든 측정과 계산은 해당 기준을 따라야 한다.
표기 방법: P = (X, Y, Z)

Camera Coordinate System
카메라를 기준으로 한 좌표계이며, 카메라의 초점에 해당하는 렌즈의 중심이 카메라 좌표계의 원점이다.
Z축: 렌즈를 통과해 이미지 평면으로 향하는 방향, 즉 카메라가 바라보는 방향을 나타내는 축
Y축: 이미지 평면과 평행하지만 보통 아래쪽 방향을 나타내는 축
X축: 이미지 평면과 평행하며 보통 오른쪽 방향을 나타내는 축


단, 카메라 좌표계의 단위는 월드좌표계와 동일해야 한다. 예를 들어, 월드 좌표계에서 meter 단위를 사용한다면 카메라 좌표계도 meter 단위를 사용해야 한다.
표기 방법: Pc = (Xc, Yc, Zc)
Normalized Image Coordinate System
정규 좌표계는 카메라의 intrinsic parameter의 영향을 제거한 이미지 좌표계이며, 카메라 초점과의 거리가 1인 가상의 이미지 평면을 정의한 좌표계이다. (아래 그림처럼 원래의 이미지 평면을 평행이동시켜서 카메라 초점과의 거리가 1인 지점으로 옮겨놓은 이미지 평면을 생각하면 된다.)

실제로 카메라를 이용해 3차원 object를 2차원의 image plane으로 투영할 때 초점 거리, 주점, 렌즈 왜곡 계수와 같은 camera intrinsic parameter들이 이미지 투영에 영향을 준다. 이런 상황에서 정규 좌표계를 사용하면, camera마다 존재하는 camera intrinsic parameter가 주는 영향을 여러 왜곡 및 해상도와 무관하게 일관되게 처리할 수 있어 서로 다른 카메라로 촬영된 이미지들도 동일한 조건 아래에서 표현될 수 있게 한다.
쉽게 말해서 정규 좌표계는 원래 이미지 좌표계를 표준화해서 다양한 해상도와 크기의 이미지에 대해 일관된 결과를 제공한다.
정규 이미지 평면과 정규 좌표계를 도입한 이유는 무엇일까?
우리가 동일한 장면을 동일한 위치와 동일한 각도에서 찍더라도 사용한 카메라에 따라서 또는 카메라 세팅에 따라서 서로 다른 영상을 얻게 됩니다. 그런데, 이러한 카메라 간의 차이는 어떤 일관된 기하학적인 해석을 하는데 있어서 불필요한 요소일 것입니다. 따라서, 이러한 요소를 제거한 정규화된 이미지 평면에서 공통된 기하학적 특성을 분석하고 이론을 수립하는 것이 보다 효과적이기 때문입니다.
by. https://darkpgmr.tistory.com/77
표기 방법: p' = (u, v)
Pixel Coordinate System
픽셀 좌표계는 우리가 실제로 눈으로 보는 image에 대한 좌표계이다. image의 왼쪽 상단이 원점이며 원점으로부터 오른쪽 방향을 x축으로 증가하는 방향, 아래쪽 방향을 y축으로 증가하는 방향이다. 이렇게 픽셀 좌표계의 x축, y축에 의해 결정되는 평면을 image plane이라고 부른다. 이후에 3차원의 obj의 좌표를 추정할 때 pixel coordinate과 extrinsic, intrinsic parameter를 이용해 구할 수 있다.

표기 방법: pimg = (x, v)
※ 위 내용들은 darkprogrammer님의 영상 Geometry의 내용을 참고해 작성했습니다.
'글 & 논문 > Computer vision' 카테고리의 다른 글
[Camera parameter] 3D to 2D projection (0) | 2024.05.23 |
---|---|
[PTAM] Mapping (0) | 2024.03.20 |
[PTAM] Tracking (0) | 2024.03.20 |
[PTAM] Map (0) | 2024.03.19 |
[PTAM] PTAM vs. SLAM (0) | 2024.03.18 |