스테레오 비전 시스템(3D 카메라), 비용 효율성과 구조 단순성... AI 융합에 유리해

스테레오 비전 시스템은 차세대 공간 인식 기술로 주목받고 있으며, 카메라가 사람의 시각처럼 깊이 정보를 확인할 수 있다는 점에서 높은 활용성을 가지고 있다. 최근에는 고해상도 이미지 센서와 AI 기반 실시간 처리 기술의 발전으로 스테레오 비전 시스템의 성능이 지속적으로 향상되고 있으며, 자율주행, 산업용 로봇, 스마트팩토리, AR/VR 등 다양한 분야로 적용이 확대되고 있다. 이에 스테레오 비전 시스템 기술과 전반적인 동향에 대해 알아보고자 한다.



글/ 고려대학교 주병권 교수님 연구실

주병권 (고려대학교 전기전자공학부 교수)
박용주 (한국전자기술연구원, 스마트네트워크연구센터 팀장)
김창일 (한국전자기술연구원, 고려대학교 마이크로/나노시스템 협동 석사 과정)


목차

1. 서론
2. 스테레오 비전 시스템 기본 원리
    2-1. 양안 시각의 원리
    2-2. 시스템 구성 요소
           2-2-1. 내부 파라미터
           2-2-2. 외부 파라미터
    2-3. 베이스라인과 삼각측량 원리
3. 깊이 추정 신뢰를 위한 매칭 기술
    3-1. 에피폴라 기하학
    3-2. 이미지 정렬
    3-3. 대응점 찾기
4. 스테레오 비전 시스템 기술 동향
5. 결론
6. 참고 문헌




1. 서론

공간 인식 기술 중 하나인 스테레오 비전 시스템은 두 개 이상의 카메라를 활용하여 물체의 깊이 정보를 추출하는 기술로, 사람의 눈과 비슷한 메커니즘으로 사물 인식이 가능하다. 최근에는 고성능 이미지 센서와 인공지능 기반 실시간 영상 처리 기술의 발전으로 저전력·고속 처리가 가능해지면서 스테레오 비전 시스템의 활용도가 크게 확대되고 있다 ^[1].

인공지능, 자율주행차, 로봇 및 스마트팩토리 등 다양한 산업 분야에서 3D 인식의 중요성이 부각되면서, 스테레오 비전 시스템은 이러한 요구를 충족시키는 핵심 기술로 주목 받고 있다 ^[2]. 이 글에서는 스테레오 비전 시스템의 기본 원리와 주요 기술 요소를 분석하고, 최근의 기술 발전 동향과 활용 사례를 통해 향후 발전 가능성을 소개하고자 한다.

2. 스테레오 비전 시스템 기본 원리

스테레오 비전 시스템은 서로 다른 위치의 카메라에서 촬영된 두 장의 이미지를 통해 동일한 물체의 상이 어떻게 다른 위치에 나타나는지를 분석하여 물체의 거리와 형태를 파악한다. 두 카메라는 일정한 기준선(baseline, 베이스라인)으로 고정되어, 두 영상 간 시차(disparity)를 계산하고 깊이(depth)를 추정한다 ^[3-4].




2-1. 양안 시각의 원리

스테레오 비전 시스템의 원리는 사람의 눈이 사물을 어떻게 인식하는지에 대한 이해에서부터 시작한다. 사람은 두 눈이 서로 약 6~7 cm 정도 떨어져 있기 때문에, 같은 물체를 볼 때도 두 눈에는 약간 다른 이미지가 맺히게 된다. 이 두 이미지의 차이를 통해 우리는 사물이 얼마나 멀리 있는지, 어디에 위치해 있는지 직관적으로 판단할 수 있다.

이를 양안 시차(binocular disparity)라고 하며, 가까운 물체일수록 두 눈에 보이는 위치 차이가 커지고, 먼 물체는 그 차이가 작아진다. 스테레오 비전 시스템은 이러한 사람의 시각 원리를 기계적으로 모방하여, 두 대의 카메라로 동일한 대상을 촬영한 뒤 이미지 간 위치 차이를 분석함으로써 깊이를 추정한다.

2-2. 시스템 구성 요소

스테레오 비전 시스템은 두 대 이상의 카메라로 구성되며, 이 카메라들은 일정한 간격으로 배치되어야 한다. 이 간격을 베이스라인이라 하며, 깊이 계산 정확도에 큰 영향을 미친다. 베이스라인이 길어지면 멀리 있는 물체도 상대적으로 큰 시차를 만들어 깊이 계산을 위한 분해능이 향상된다. 반면, 베이스라인이 지나치게 길면 가까운 물체의 대응점을 찾기가 어려워질 수 있다. 따라서, 사용 목적에 따라 적절한 길이를 설정해야 한다 ^[5].





또한, 카메라의 렌즈는 동일한 초점거리(focal length)와 해상도(resolution)를 갖는 것이 중요하고 촬영된 이미지가 왜곡되지 않도록 내부 파라미터를 보정해야 한다. 주로 OpenCV와 같은 라이브러리를 사용하여 체커보드 패턴을 이용한 카메라 보정(calibration)이 널리 활용된다 ^[6]. 그리고 두 카메라의 위치와 각도를 정확하게 맞추는 외부 파라미터 보정도 필수적이다. 이러한 요소들은 작은 오차만 있어도 시차 계산에 큰 영향을 미치므로 초기 세팅이 매우 중요하다 ^[7].





2-2-1. 내부 파라미터(intrinsic parameters)

내부 파라미터는 카메라 고유의 특성을 수치화한 것으로 초점 거리, 주점(principal point)과 렌즈 왜곡 계수 등을 포함한다 ^[8-9]. 카메라는 실제 렌즈로 이미지를 맺기 때문에 원거리와 근거리에서 발생하는 구면 왜곡과 접선 왜곡이 발생한다. 이러한 왜곡을 고려하지 않으면 동일한 물체라도 이미지상에서 위치가 달라져 시차 계산에 오차가 발생할 수밖에 없다. 따라서 카메라 내부 파라미터는 정확한 깊이 추정을 위해 반드시 보정되어야 한다.

2-2-2. 외부 파라미터(extrinsic parameters)

외부 파라미터는 세계 좌표계와 카메라 좌표계 사이의 위치와 방향을 나타낸다 ^[8-10]. 스테레오 비전에서는 두 대의 카메라 간의 상대적인 위치 관계를 정확히 알아야 한다. 외부 파라미터는 회전 행렬(rotation matrix)과 평행 이동 벡터(translation vector)로 구성되며, 이를 통해 두 카메라 간의 기하학적 관계가 수식으로 표현된다.

2-3. 베이스라인과 삼각측량 원리

두 카메라를 활용하여 깊이를 계산하는 방법은 기본적으로 삼각측량 원리에 기반하고 있다. 삼각측량은 고대부터 천문 관측이나 지도 제작에서 거리를 측정하기 위해 사용되어 온 고전적인 측량 기법으로, 두 지점에서 동일한 목표물을 관측하여 거리와 위치를 수학적으로 추정하는 원리를 갖고 있다. 이를 스테레오 비전 시스템에 적용하면 두 대의 카메라가 서로 다은 시점에서 같은 물체를 촬영하고, 이 물체가 각 카메라 이미지 상에서 어디에 위치하는지 비교함으로써 물체와 카메라 사이의 실제 거리를 추정할 수 있다.

이때 중요한 요소가 베이스라인으로 두 카메라의 광학 중심 간의 거리이다. 이 거리는 시스템의 깊이 분해능에 직접적인 영향을 주는데, 일반적으로 베이스라인이 길어질수록 동일한 물체에 대해 이미지간 시차가 커지게 되며, 이는 삼각측량으로 계산된 깊이 값의 오차를 줄여준다. 따라서 멀리 있는 물체를 정밀하게 측정해야 하는 경우에는 베이스라인을 길게 설정하는 것이 유리하다 ^[11].





삼각측량 원리를 수학적으로 살펴보면, 좌우 이미지 상에서 나타나는 시차를 활용해 물체까지의 깊이(Z)를 계산할 수 있다.



• Z: 물체까지의 거리, 깊이
• f: 카메라 초점 거리
• B: 두 카메라 간 베이스라인
• d: 시차


식을 살펴보면, 시차가 클수록 물체까지의 거리는 가깝고, 시차가 작을수록 물체까지 거리가 멀어지는 것을 확인할 수 있다. 이 식은 삼각측량이 얼마나 시차 추정에 의존적인지 잘 보여준다. 시차가 조금만 잘못 매칭되면 깊이 추정 값이 크게 왜곡될 수 있기 때문에, 스테레오 비전 시스템의 신뢰성은 대응점 매칭을 얼마나 정확하게 하는지에 달려있다.


3. 깊이 추정 신뢰를 위한 매칭 기술

3-1. 에피폴라 기하학(epipolar geometry)

스테레오 비전 시스템에서 두 카메라가 동일한 공간의 점을 촬영할 때, 각 카메라는 서로 다른 시점에서 물체를 인식한다. 이때 동일한 공간상의 점이 두 이미지 평면 상에 맺히는 지점은 단순히 임의의 위치에 나타나는 것이 아니라, 두 카메라의 상대적 위치와 방향에 의해 정해진 특정한 기하학적 관계를 따른다 ^[12]. 이러한 관계를 설명하는 것이 에피폴라 기하학이다.




에피폴라 기하학의 핵심은 에피폴라 평면(epipolar plane)이다. 이 평면은 두 카메라의 광학 중심과 3차원 물체를 지나는 평면으로 각 카메라의 이미지 평면과 만나는 선을 에피폴라 라인(epipolar line)이라고 한다. 이 이론에는 제약 조건이 발생하는데, 한쪽 이미지에 있는 점이 다른 이미지의 전체 2차원 영역에 무작위로 존재하지 않고, 반드시 에피폴라 라인 위에 놓인다는 것이다 ^[12-13]. 이 제약조건으로 대응점을 찾을 때, 전체 이미지 영역을 탐색하는 대신 직선 위에서만 탐색하면 되므로 계산이 빠르고 잘못된 대응점을 걸러내 정확도를 높인다.

이러한 기하학적 관계는 기본 행렬과 필수 행렬을 이용해 수학적으로 표현되는데, 두 행렬은 에피폴라 기하학의 제약 조건을 만족하면서, 대응점 매칭과 깊이 추정의 정확도를 개선하는 역할을 한다. 기본 행렬은 카메라의 내?외부 파라미터를 모두 포함하며, 보정되지 않은 실제 픽셀 좌표계에서 두 이미지 간의 관계를 나타낸다. 반면, 필수 행렬은 카메라 내부 파라미터가 이미 보정된 상태라는 가정 하에 사용되며, 두 카메라의 상대적인 회전과 평행 이동만으로 관계를 표현한다 ^[12-13].

3-2. 이미지 정렬(image rectification)

스테레오 비전 시스템에서 두 카메라로 촬영된 원본 이미지는 일반적으로 서로 다른 투영 변환과 렌즈 왜곡으로 인해 동일한 3차원 점이 이미지 상에서 수평선 상에 정확히 일치하지 않는다. 이로 인해 대응점 매칭 과정이 불필요하게 복잡해지고, 잘못된 시차 계산으로 깊이 계산 정확도가 떨어질 수 있다. 이러한 문제를 해결하기 위해 필요한 과정이 이미지 정렬이다.

이는 핵심 전처리 단계로, 두 이미지의 에피폴라 라인을 수평선으로 변환하여 정렬함으로써 대응점 탐색을 1차원 수평축으로 단순화한다 ^[14]. 이를 통해 특징점 기반 매칭이나 밀집 매칭과 같은 정합 알고리즘 계산 비용이 크게 줄어들고 잘못된 정합이 발생할 가능성도 낮아진다.

추정된 카메라의 파라미터를 기반으로 이미지 정렬을 수행한다. 먼저 각 카메라의 렌즈 왜곡을 보정한 후, 두 이미지가 동일한 평면에서 투영될 수 있도록 한다 ^[15]. 이 과정에서는 일반적으로 좌표계 변환 행렬이 사용되며, OpenCV와 같은 라이브러리에서는 함수를 통해 쉽게 구현할 수 있다.
 

3-3. 대응점 찾기(correspondence matching)

3차원 공간의 한 점이 좌?우 이미지에서 어떤 위치를 나타내는지 찾아내는 것이 스테레오 비전 시스템에서 중요한 기술이다. 이 과정을 대응점 찾기라 하며, 정확성에 매우 큰 영향을 미친다. 대응점을 찾는 방법에는 일반적으로 두 가지 접근 방식으로 나뉜다.

첫 번째로 이미지 내에서 코너, 엣지 등 시각적으로 뚜렷한 특징을 검출하고, 각 특징점 주변 정보를 추출한 뒤, 각 이미지에서 유사한 특징을 갖는 점을 대응점으로 판단하는 방법이다. 대표적으로 SIFT(Scale-Invariant Feature Transform)와 SURF(Speeded-Up Robust Features)가 있다 ^[16]. 이 방식은 특징점이 뚜렷하게 존재하는 경우에는 좋은 알고리즘이지만, 밋밋한 평면적인 영역에서는 충분한 특징점을 검출하기 어렵다.




다음은 이미지의 모든 픽셀에 대해 대응점을 찾는 방식으로 깊은 맵을 형성하거나 3차원 포인트 클라우드를 구성하는 데 필수적이다. 대부분 기준 이미지에서 일정 크기의 블록을 생성하여 유사한 패턴을 다른 이미지의 동일한 라인상에서 찾는 방식이다. 대표적으로 SGM (Semi-Global Matching)이 널리 사용되는데, 정밀하면서도 탐지 속도가 빨라 실제 자율주행 시스템이나 로봇 비전에서 많이 사용되고 있다 ^[17].


4. 스테레오 비전 시스템 기술 동향

자율주행 기술 분야

자율주행에서는 도로 상에 볼 수 있는 다양한 차량과 보행자 등 객체를 빠르고 정확하게 인식하는 것이 핵심 기술이다. 테슬라, 모빌아이, 엔비디아 드라이브와 같은 기업들은 차량 전방과 측면에 스테레오 카메라를 장착하고, AI 딥러닝 알고리즘과 결합하여 실시간 깊이 정보를 추출하고 객체를 인식하는 기술을 개발하여 상용화했다. 이를 통해 충돌 방지와 차선 유지 보조 기능 등 ADAS 기술 정확도가 높아지고, 라이다 기반 시스템보다 비용적 측면에서 유리하게 작용하였다.




무인 항공기 기술 분야

무인 항공기(eVTOL, UAM)에서 스테레오 비전 기술은 복잡한 도심 환경에서 자율 비행과 최종 착륙 단계 보조 수단으로 주목되고 있다. 최근 한 연구에서는 스테레오 카메라를 활용하여 25 m이내 거리에서 1.5 m 수준의 수직 위치 정확도를 달성했고, 초경량 드론에서도 실시간 장애물 회피 기능을 위한 구현 사례가 있다. 또한, Pushbroom Stereo와 같은 고속 정합 알고리즘은 실시간 비행에 적용 가능한 수준으로 발전하고 있다 ^[19]. 따라서, 스테레오 비전 시스템은 GNSS 의존도를 낮추고 안전성과 자율성을 향상시키는 핵심 기술로 평가받고 있다.

산업용 로봇 및 스마트 물류 기술 분야

산업용 로봇과 스마트 물류 분야에서는 물체 인식, 피킹 자동화, 공간 내비게이션에 핵심 기술로 활용되고 있다. 특히, 3D Bin-Picking이나 조립 로봇에서 정밀한 깊이 정보 추출을 통해 자동화 수준을 높이고 있으며, Roboception, Zivid사 등 상용 스테레오 카메라의 도입이 확대되고 있다. 최근에는 AI 기반 정합 알고리즘과 GPU 가속을 결합해 실시간 고해상도 깊이 추정이 가능하며, 자세 추정 등 고차원 기술로 발전함으로써 사람과 로봇 협업 환경에서도 안전성과 신뢰성을 동시에 확보할 수 있는 핵심 기술로 부상하고 있다.




의료 및 헬스케어 기술 분야

의료 및 헬스케어 분야에서는 정밀한 시야 확보가 필요한 수술 로봇과 재활 보조, 환자 모니터링 등 다양하게 활용되고 있다. 예를 들어 Intuitive Surgical의 Da Vinci Surgical System은 고해상도 스테레오 카메라로 수술 부위를 3D로 확대해 정밀한 수술을 할 수 있도록 돕는다. 또한, 정형외과 수술에서는 3D복원 기술을 활용하여 조직의 깊이와 위치를 정밀하게 인식하여 시술 정확도를 높이고 있다. 재활 로봇과 자세 분석 시스템에서도 스테레오 비전으로 환자의 움직임을 비접촉 방식으로 추적하여 실시간 피드백을 제공한다. 최근에는 딥러닝과 결합된 3D 시선 추적 및 환자 행동 분석 시스템이 원격 진료와 고령자 케어에 적용되고 있다.

스마트홈 및 보안 시스템 기술 분야

스마트홈과 보안 시스템 분야에서는 Intel RealSense, ZED 2i, Orbbec Gemini 등 상용 스테레오 카메라가 침입 감지, 인체 인식, 거리 기반 사용자 인증에 활용되고 있다. 이들 장치는 조명 변화나 그림자에 강인하며, 실시간으로 사람의 위치와 동작을 3D로 파악해 정확한 알림과 반응을 가능하게 한다. 특히, 문 앞 방문자의 거리 판단, 낙상 감지, 아동 보호 등 스마트홈 안전 기능에 효과적으로 적용되고 있다. 또한, 이러한 기술들은 비접촉 방식으로 개인 정보를 직접적으로 저장하지 않아 사생활 보호에도 유리하고, AI 기반 행위 분석 기술과 결합되어 지능형 보안 서비스로 확장되고 있다.

XR, 메타버스, 디지털 트윈 기술 분야

스테레오 비전 시스템은 현실 공간 정보를 정밀하게 추출할 수 있어 XR, 메타버스, 디지털 트윈 분야에서 활용되고 있다. 이 기술은 사용자 트래킹, 환경 매핑, 개체 인식, 손동작 분석 등 기술 구현이 가능하며, 가상 환경과 자연스러운 상호 작용을 지원한다. 또한, 정밀하고 입체적인 공간 이해를 제공하여 몰입감을 높이고, 사물의 움직임을 정밀하게 추적할 수 있어 사람과 환경 그리고 디지털 공간 간의 연결성을 강화한다. 이러한 장점 덕분에 다양한 3D 서비스와 인터페이스 기술의 기반 센서로 활용되고 있다.

5. 결론

스테레오 비전 시스템은 사람의 양안 시각을 기계적으로 구현한 기술로, 깊이 인식과 공간 이해가 필요한 다양한 분야에서 핵심 센서로 자리잡고 있다. 이 시스템은 자율주행, 로봇, 의료, XR, 보안 등 복잡한 환경 속에서도 신뢰성 있는 3D 인지를 가능하게 한다. 최근에는 고성능 카메라와 AI 알고리즘, GPU 가속 기술이 적용되어, 실시간 정합과 고정밀 깊이 맵 생성이 가능해지고 있다.

테슬라의 자율주행 기술이 보여주듯, 라이다 없이 비전 카메라만으로 자율주행을 구현하려는 산업계의 흐름은 멀티 카메라 기반 비전 시스템 기술의 관심도와 중요도가 높아지고 있다. 스테레오 비전은 비용 효율성과 구조 단순성, AI 융합에 유리하다는 점에서 라이다 대체 기술로 각광받고 있다. 이러한 스테레오 및 멀티 비전 시스템은 단순 인식 기술을 넘어 지능형 공간 이해 플랫폼의 중심 기술로 자리매김하고 있으며, 향후 실세계와 가상 세계를 연결하는 중요한 기술이 될 것으로 기대된다.


6. 참고 문헌

[1] F. Tosi, L. Bartolomei, and M. Poggi, “A survey on deep stereo matching in the twenties,” Int. J. Comput. Vis., vol. 133, no. 7, pp. 4245–4276, 2025.
[2] H. Wei and L. Meng, “A stereo matching algorithm for high?precision guidance in a weakly textured industrial robot environment dominated by planar facets,” in Comput. Graph. Forum, vol. 41, no. 1, pp. 288–300, Feb. 2022.
[3] D. Scharstein and R. Szeliski, “A taxonomy and evaluation of dense two-frame stereo correspondence algorithms,” Int. J. Comput. Vis., vol. 47, no. 1, pp. 7–42, 2002.
[4] H. Laga, L. V. Jospin, F. Boussaid, and M. Bennamoun, “A survey on deep learning techniques for stereo-based depth estimation,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 4, pp. 1738–1764, 2020.
[5] B. Sumetheeprasit, R. Rosales Martinez, H. Paul, R. Ladig, and K. Shimonomura, “Variable baseline and flexible configuration stereo vision using two aerial robots,” Sensors, vol. 23, no. 3, p. 1134, 2023.
[6] L. Zou and Y. Li, “A method of stereo vision matching based on OpenCV,” in Proc. 2010 Int. Conf. Audio, Lang. Image Process., Shanghai, China, Nov. 2010, pp. 185–190.
[7] A. Zaremba and S. Nitkiewicz, “Distance estimation with a stereo camera and accuracy determination,” Appl. Sci., vol. 14, no. 23, p. 11444, 2024.
[8] Z. Zhang, “A flexible new technique for camera calibration,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 22, no. 11, pp. 1330–1334, 2002.
[9] X. Ma, P. Zhu, X. Li, X. Zheng, J. Zhou, X. Wang, and K. W. S. Au, “A minimal set of parameters-based depth-dependent distortion model and its calibration method for stereo vision systems,” IEEE Trans. Instrum. Meas., vol. 73, pp. 1–11, 2024.
[10] J. Wang, B. Guan, Y. Han, Z. Su, Q. Yu, and D. Zhang, “Sensor-aided calibration of relative extrinsic parameters for outdoor stereo vision systems,” Remote Sens., vol. 15, no. 5, p. 1300, 2023.
[11] D. Gallup, J. M. Frahm, P. Mordohai, and M. Pollefeys, “Variable baseline/resolution stereo,” in Proc. 2008 IEEE Conf. Comput. Vis. Pattern Recognit., Anchorage, AK, USA, Jun. 2008, pp. 1–8.
[12] Z. Zhang, “Determining the epipolar geometry and its uncertainty: A review,” Int. J. Comput. Vis., vol. 27, no. 2, pp. 161–195, 1998.
[13] J. W. Bian, Y. H. Wu, J. Zhao, Y. Liu, L. Zhang, M. M. Cheng, and I. Reid, “An evaluation of feature matchers for fundamental matrix estimation,” arXiv preprint, arXiv:1908.09474, 2019.
[14] P. Lafiosca and M. Ceccaroni, “Rectifying homographies for stereo vision: Analytical solution for minimal distortion,” in Proc. Sci. Inf. Conf., Cham, Switzerland: Springer Int. Publ., Jul. 2022, pp. 484–503.
[15] H. Zhao, Y. Zhang, Q. Chen, and R. Fan, “Dive deeper into rectifying homography for stereo camera online self-calibration,” in Proc. 2024 IEEE Int. Conf. Robot. Autom. (ICRA), Yokohama, Japan, May 2024, pp. 14479–14485.
[16] E. Karami, S. Prasad, and M. Shehata, “Image matching using SIFT, SURF, BRIEF and ORB: Performance comparison for distorted images,” arXiv preprint, arXiv:1710.02726, 2017.
[17] Y. Zhou, Y. Song, and J. Lu, “Stereo image dense matching by integrating SIFT and SGM algorithm,” Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., vol. 42, pp. 2565–2570, 2018.
[18] N. Kemsaram, A. Das, and G. Dubbelman, “A model-based design of an onboard stereo vision system: Obstacle motion estimation for cooperative automated vehicles,” SN Appl. Sci., vol. 4, no. 7, p. 199, 2022.
[19] A. J. Barry and R. Tedrake, “Pushbroom stereo for high-speed navigation in cluttered environments,” in Proc. 2015 IEEE Int. Conf. Robot. Autom. (ICRA), Seattle, WA, USA, May 2015, pp. 3046–3052.
[20] Roboception. [Online]. Available: https://roboception.com/3d-stereo-vision/rc-visard-3d-stereo-sensor/
[21] Zivid, [Online]. Available: https://www.zivid.com/ko/zivid-2-plus-mr60