Chapter 02. Camera Perception

02.01. 2D Object Detection YOLO RT DETR Architecture [w/Code]

현대적인 2차원 객체 검출(2D Object Detection)은 카메라 영상(Camera Image)을 이미지 평면(Image Plane)에 어떤 객체가 존재하며 어디에 위치하는지를 설명하는 구조화된 관측 정보(Structured Observation)로 변환한다. 로봇 인지(Robot Perception)에서 이러한 검출 결과는 원시 시각 센싱(Raw Visual Sensing)과 객체 추적(Object Tracking), 충돌 회피(Collision Avoidance), 의미 지도(Semantic Mapping), 조작(Manipulation), 내비게이션(Navigation) 같은 상위 기능을 연결하는 중요한 역할을 한다.

일반적인 2차원 객체 검출기(2D Object Detector)는 RGB 영상을 텐서(Tensor) 형태로 입력받아 객체 클래스(Class), 신뢰도 점수(Confidence Score), 경계 상자(Bounding Box)를 포함하는 객체 후보(Object Hypothesis) 집합을 출력한다. 경계 상자는 중심 좌표와 너비·높이 또는 서로 마주 보는 두 모서리 좌표로 표현된다. 학습 과정에서는 예측 객체와 정답 데이터(Ground Truth)를 위치 및 분류 목적함수(Objective)를 통해 비교하고, 추론(Inference) 단계에서는 이를 로봇 소프트웨어가 사용할 수 있는 간결한 검출 정보로 변환한다.

YOLO는 객체 위치 추정(Object Localization)과 분류(Classification)를 하나의 통합 신경망 파이프라인(Neural Network Pipeline)에서 수행하는 단일 단계 검출기(Single-Stage Detector)의 대표적인 철학을 따른다. 먼저 후보 영역(Candidate Region)을 생성한 뒤 각각을 별도로 처리하는 대신, 전체 영상에서 시각 특징(Visual Feature)을 추출하고 이 특징으로부터 객체를 직접 예측한다. 이러한 구조는 카메라 프레임(Camera Frame)을 지속적으로 처리하면서 제어와 내비게이션에 필요한 낮은 지연시간(Latency)을 유지해야 하는 로봇 시스템에 특히 적합하다.

실용적인 YOLO 구조는 백본(Backbone), 넥(Neck), 검출 헤드(Detection Head)의 연속적인 기능으로 이해할 수 있다. 백본은 픽셀(Pixel)을 계층적 특징 표현(Hierarchical Feature Representation)으로 변환하며, 초기 계층은 국부적인 에지(Edge)와 질감(Texture)을 보존하고 깊은 계층으로 갈수록 의미적 정보(Semantic Information)를 표현한다. 넥은 서로 다른 공간 해상도(Spatial Resolution)의 특징을 결합하고, 검출 헤드는 이를 경계 상자 좌표, 객체 클래스, 신뢰도 값으로 변환한다.

다중 스케일 처리(Multi-Scale Processing)는 이동 로봇(Mobile Robot)에서 특히 중요하다. 객체의 겉보기 크기(Apparent Size)는 로봇과의 거리에 따라 빠르게 변하기 때문이다. 가까운 보행자(Pedestrian)는 카메라 영상의 상당 부분을 차지하지만 멀리 있는 보행자는 불과 몇 개의 픽셀로 표현될 수 있다. 특징 피라미드(Feature Pyramid) 구조는 높은 해상도의 공간 정보와 깊은 의미 특징을 결합하여 서로 다른 크기의 객체를 별도의 네트워크 없이 검출할 수 있도록 한다.

YOLO 구현은 앵커 기반 예측(Anchor-Based Prediction)에서 점차 앵커 프리(Anchor-Free) 설계로 발전해 왔다. 앵커 기반 검출기는 미리 정의된 경계 상자 형태와 예측 결과를 연결하므로 예상 객체 분포에 적합한 앵커 설정이 필요하다. 반면 앵커 프리 방식은 특징 맵(Feature Map)의 위치에서 객체 위치와 상자 형상을 보다 직접적으로 예측한다. 카메라, 환경, 객체 크기가 달라지는 로봇 응용에서는 수동 앵커 설계 의존성을 줄임으로써 인지 파이프라인의 적응성과 이식성을 높일 수 있다.

전통적인 밀집 검출기(Dense Detector)는 하나의 물리적 객체에 대해 서로 겹치는 여러 예측 결과를 생성할 수 있다. 비최대 억제(Non-Maximum Suppression, NMS)는 신뢰도를 기준으로 검출 결과를 정렬하고, 일반적으로 교집합 대비 합집합(Intersection over Union, IoU)을 기준으로 높은 신뢰도의 상자와 크게 겹치는 다른 상자를 제거한다. NMS의 계산량은 신경망에 비해 작지만 별도의 후처리(Post-Processing) 단계를 추가하며, 임계값(Threshold)은 객체가 겹치거나 밀집된 환경에서 검출 동작에 영향을 미친다.

RT-DETR은 기존의 밀집 YOLO 구조보다는 트랜스포머(Transformer) 기반 DETR 계열에서 실시간 객체 검출(Real-Time Object Detection)에 접근한다. DETR은 객체 검출을 집합 예측 문제(Set Prediction Problem)로 재구성한다. 고정된 객체 쿼리(Object Query) 집합이 인코딩된 영상 특징과 상호작용하여 객체 집합을 예측하며, 학습 과정에서는 이분 매칭(Bipartite Matching)을 통해 예측 객체와 정답 객체 사이의 일대일 관계를 구성한다. 이를 통해 앵커와 중복 제거 절차에 대한 구조적 의존성을 줄인다.

트랜스포머 구조(Transformer Architecture)는 중요한 구조적 차이를 제공한다. 합성곱 검출기(Convolutional Detector)는 주로 공간적으로 국부적인 연산을 여러 계층에 걸쳐 결합하여 특징을 생성하지만, 어텐션 메커니즘(Attention Mechanism)은 공간 특징 사이의 관계를 보다 명시적으로 모델링할 수 있다. 이를 통해 객체 쿼리는 영상 문맥(Image Context)을 활용하여 예측할 수 있다. 그러나 초기 DETR은 학습 수렴(Convergence)과 계산 비용 측면의 문제가 있었으며, RT-DETR은 실시간 검출에 적합하도록 특징 처리와 쿼리 선택을 재구성한다.

RT-DETR은 다중 스케일 합성곱 특징(Multi-Scale Convolutional Feature)과 효율적인 하이브리드 인코더(Hybrid Encoder)를 결합하여 고해상도 특징 맵 처리 비용을 제한한다. 모든 특징 계층에 고비용 트랜스포머 연산을 동일하게 적용하는 대신, 동일 스케일 내부 특징 상호작용(Intra-Scale Feature Interaction)과 스케일 간 특징 융합(Cross-Scale Feature Fusion)을 구분한다. 이를 통해 유용한 다중 해상도 정보를 유지하면서 불필요한 계산을 줄여 엣지 컴퓨터(Edge Computer)에서 지속적인 검출을 수행하기에 적합하도록 한다.

또 다른 중요한 요소는 쿼리 선택(Query Selection)이다. 트랜스포머 검출기는 제한된 수의 디코더 쿼리(Decoder Query)를 이용해 객체 후보를 표현하므로 초기 쿼리의 품질은 학습 수렴과 추론 효율에 영향을 준다. RT-DETR은 정보량이 높은 인코더 특징(Encoder Feature)을 객체 쿼리로 선택한 뒤 트랜스포머 디코더(Transformer Decoder)를 통해 클래스와 경계 상자 예측을 점진적으로 정제한다. 이를 통해 종단간 집합 예측(End-to-End Set Prediction)의 원칙을 유지하면서 실시간 비전(Real-Time Vision)에 필요한 지연시간을 목표로 한다.

따라서 YOLO와 RT-DETR은 동일한 로봇 인지 요구사항을 해결하는 서로 연관되면서도 구조적으로 다른 접근법이다. YOLO는 합성곱 특징 추출(Convolutional Feature Extraction), 다중 스케일 융합(Multi-Scale Fusion), 효율적인 예측 헤드(Prediction Head)를 중심으로 최적화된 밀집 검출 파이프라인을 강조한다. RT-DETR은 합성곱 특징 추출과 트랜스포머 기반 집합 예측 및 객체 쿼리를 결합한다. 따라서 적합한 구조의 선택은 정확도뿐 아니라 지연시간, 메모리 사용량, 영상 해상도, 가속기 지원, 학습 데이터와 시스템 요구사항을 함께 고려해야 한다.

로봇 시스템에서 검출기 성능은 독립적인 벤치마크(Benchmark)가 아니라 전체 인지-제어 파이프라인(Perception-Control Pipeline)의 일부로 평가해야 한다. 평균 정밀도(Mean Average Precision, mAP)는 검출 품질을 평가하는 중요한 지표이며 교집합 대비 합집합(IoU)은 위치 중첩 정도를 나타내지만, 이러한 지표만으로 로봇의 안전한 운용 여부를 결정할 수 없다. 프레임 지연시간(Frame Latency), 처리량(Throughput), 시간적 안정성(Temporal Stability), 최소 검출 객체 크기, 미검출(False Negative), 신뢰도 보정(Confidence Calibration), 모션 블러(Motion Blur)와 조명 변화에 대한 성능도 중요하다.

입력 해상도(Input Resolution)는 기본적인 공학적 절충 관계(Engineering Trade-Off)를 형성한다. 영상 크기를 증가시키면 멀리 있거나 물리적으로 작은 객체에 대한 정보를 더 많이 보존할 수 있지만 특징 맵 크기, 메모리 트래픽(Memory Traffic), 추론 연산량도 증가한다. 반대로 해상도를 낮추면 처리량은 향상되지만 조기 장애물 검출에 필요한 시각 정보가 손실될 수 있다. 따라서 카메라 해상도와 검출기 입력 크기는 검출 거리, 시야각(Field of View), 대상 크기, 로봇 속도와 요구 반응시간을 기준으로 결정해야 한다.

지연시간 역시 종단간(End-to-End) 관점에서 고려해야 한다. 카메라 노출(Camera Exposure)과 판독(Readout), 영상 전송, 전처리(Preprocessing), 신경망 추론, 후처리, 메시지 전송, 추적, 경로 계획(Planning), 제어가 모두 로봇의 반응시간 예산(Reaction-Time Budget)을 사용한다. 높은 초당 프레임 수(Frames Per Second, FPS)를 달성하는 검출기라도 버퍼링(Buffering)이나 비동기 파이프라인(Asynchronous Pipeline)으로 오래된 관측 정보를 전달한다면 부적합할 수 있다. 따라서 영상 획득 시점에 타임스탬프(Timestamp)를 부여하고 이를 전체 인지 스택에서 유지해야 한다.

시간적 동작(Temporal Behavior)은 벤치마크 검출과 실제 로봇 인지를 구분하는 또 다른 요소다. YOLO와 RT-DETR은 일반적으로 개별 프레임을 처리하지만 이동 로봇은 연속적인 장면을 경험한다. 조명, 관측 시점(Viewpoint), 부분 가림(Partial Occlusion), 영상 잡음의 작은 변화만으로도 인접 프레임 사이에서 경계 상자와 신뢰도가 변동할 수 있다. 객체 추적, 시간 필터링(Temporal Filtering), 자기 운동 보상(Ego-Motion Compensation), 시간 융합(Temporal Fusion)을 이용하면 프레임 단위 검출을 계획과 제어에 적합한 안정적인 객체 상태로 변환할 수 있다.

학습 데이터(Training Data)는 로봇의 실제 운용 영역(Operational Domain)을 반영해야 한다. 범용 데이터셋(Generic Dataset)은 유용한 사전학습 시각 표현(Pretrained Visual Representation)을 제공하지만 실제 카메라는 설치 위치에 따른 시점, 렌즈 왜곡(Lens Distortion), 진동, 날씨, 반사면, 작업복, 팔레트, 산업 장비 등 일반 데이터셋에서 드문 조건을 경험한다. 따라서 실제 운용 영상을 포함한 미세조정(Fine-Tuning)이 필요하며, 카메라 장착 높이와 관측 각도는 객체 외형과 가림 특성에 큰 영향을 주므로 실제 설치 위치에서 수집한 데이터가 특히 중요하다.

배포(Deployment) 과정에서는 신뢰도 임계값과 알려지지 않은 조건(Unknown Condition)을 명시적으로 관리해야 한다. 높은 임계값은 오검출(False Positive)을 줄일 수 있지만 멀리 있거나 일부 가려진 위험 객체를 제거할 수 있으며, 낮은 임계값은 재현율(Recall)을 높이는 대신 불확실한 검출 결과를 증가시킨다. 이러한 결정은 하위 위험 처리 로직과 연결되어야 한다. 검출 신뢰도를 물리적 안전 확률로 직접 해석해서는 안 되며, 안전 중요 동작(Safety-Critical Behavior)은 적절한 중복성(Redundancy), 모니터링, 보수적 폴백(Fallback) 없이 하나의 신경망 예측에만 의존해서는 안 된다.

엣지 로봇(Edge Robot)에서 모델 선택은 단순히 검출기 계열을 결정하는 것 이상을 의미한다. 전체 구현에서는 GPU 메모리, 텐서 정밀도(Tensor Precision), 지원 연산자(Operator), 전처리 오버헤드, 배치 크기(Batch Size), 열적 한계(Thermal Limit), 추론 런타임 최적화(Inference Runtime Optimization)를 함께 고려해야 한다. 목표 가속기에서 지원된다면 FP16 또는 INT8 실행을 통해 계산량과 메모리 요구량을 줄일 수 있지만, 양자화(Quantization)의 영향은 안전 관련 객체 클래스와 어려운 운용 조건을 대상으로 반드시 검증해야 한다.

로봇 소프트웨어 아키텍처(Robot Software Architecture)에 통합할 때 검출 결과는 일반적으로 영상 참조 정보, 경계 상자, 클래스, 신뢰도, 프레임 식별자(Frame Identifier)를 포함하는 타임스탬프 기반 메시지로 제공된다. 보정 정보(Calibration Information)는 영상 검출 결과를 카메라 기하(Camera Geometry)와 연결하며, 시간 동기화(Synchronization)는 이후 LiDAR, 레이더(Radar), 깊이(Depth), 관성 센서(Inertial Sensor)와의 융합을 가능하게 한다. 따라서 검출기는 단순한 AI 모델이 아니라 정의된 입출력, 시간 요구사항, 진단 기능, 장애 상태를 갖는 실시간 소프트웨어 구성요소로 다루어야 한다.

견고한 구현에서는 동일한 인지 인터페이스(Perception Interface) 뒤에서 여러 검출기 백엔드(Detector Backend)를 지원할 수 있다. 최소 지연시간과 성숙한 배포 도구가 중요할 경우 YOLO를 기본 구성으로 사용할 수 있으며, 트랜스포머 기반 집합 예측과 문맥적 특징 상호작용(Contextual Feature Interaction)이 유리한 경우 RT-DETR을 대안으로 사용할 수 있다. 전처리, 추론, 출력 정규화(Output Normalization), 시각화, 추적, ROS2 인터페이스를 모듈화하면 특정 검출기에 대한 의존성이 전체 로봇 소프트웨어로 확산되는 것을 방지할 수 있다.

궁극적으로 YOLO와 RT-DETR은 2차원 객체 검출이 독립적인 컴퓨터 비전(Computer Vision) 작업에서 자율 기계(Autonomous Machine)를 위한 재사용 가능한 인지 서비스(Perception Service)로 발전하는 과정을 보여준다. 검출기는 카메라 픽셀을 의미적 객체 후보로 변환하지만, 실제 로봇 지능은 이러한 결과가 동기화되고 검증되며 추적되고 기하 정보와 융합된 뒤 요구되는 지연시간 내에 전달될 때 형성된다. 이러한 역할은 카메라 인지에서 LiDAR, 레이더, 관성 인지, 다중 센서 융합(Multi-Sensor Fusion), 3차원 장면 이해(3D Scene Understanding), 피지컬 AI 인지(Physical AI Perception)로 확장되는 전체 인지 구조의 기반이 된다.

02.02. Instance and Panoptic Segmentation for Robots [w/Code]

인스턴스 분할(Instance Segmentation)은 객체 검출(Object Detection)을 확장하여 어떤 객체가 존재하는지를 파악하는 것뿐만 아니라 각각의 개별 객체 인스턴스(Object Instance)에 속하는 정확한 픽셀(Pixel)을 결정한다. 로봇에서는 동일한 클래스(Class)에 속하는 객체들을 공간적으로 서로 구분할 수 있기 때문에 경계 상자(Bounding Box)보다 풍부한 표현을 제공한다. 이를 통해 개별 보행자, 팔레트, 차량, 컨테이너, 도구 등을 구별하고 내비게이션(Navigation), 조작(Manipulation), 장애물 회피(Obstacle Avoidance), 장면 이해(Scene Understanding)에 필요한 상세한 기하 정보를 제공할 수 있다.

의미 분할(Semantic Segmentation)은 관련된 각 픽셀에 클래스 레이블(Class Label)을 할당하지만 동일한 클래스에 속하는 개별 객체들을 서로 구분하지 않는다. 인스턴스 분할은 픽셀 수준 표현(Pixel-Level Representation)에 객체 식별 정보(Object Identity)를 추가한다. 예를 들어 하나의 카메라 영상에 세 명의 사람이 나타나면 의미 분할은 해당 픽셀을 모두 사람(Person)으로 분류하지만, 인스턴스 분할은 세 개의 서로 다른 마스크(Mask)를 생성한다. 이러한 차이는 로봇이 환경의 의미적 구성뿐만 아니라 개별 물리적 객체를 추론해야 할 때 필수적이다.

파놉틱 분할(Panoptic Segmentation)은 의미 분할과 인스턴스 분할을 결합하여 전체 영상을 하나의 통합된 표현으로 구성한다. 픽셀에 의미적 카테고리(Semantic Category)를 할당하면서 셀 수 있는 객체에는 개별 식별 정보(Instance Identity)를 부여한다. 사람, 차량, 상자, 로봇과 같은 사물(Things)은 개별 인스턴스 식별자를 가지며, 도로, 바닥, 벽, 하늘, 잔디, 식생과 같은 배경 영역(Stuff)은 연속적인 의미 영역으로 표현된다. 결과적으로 카메라에 보이는 의미 있는 모든 영역을 설명하는 구조화된 장면 표현이 생성된다.

세 가지 분할 방식의 차이는 각각 어떤 질문에 답하는가를 통해 이해할 수 있다. 의미 분할은 각 픽셀이 어떤 카테고리에 속하는지를 결정하고, 인스턴스 분할은 해당 픽셀이 어떤 개별 객체에 속하는지를 결정하며, 파놉틱 분할은 카테고리와 인스턴스 정보를 하나의 일관된 장면 표현(Scene Representation)으로 결합한다. 내비게이션은 주행 가능 영역과 장애물 영역을 주로 필요로 하고, 조작은 개별 대상의 정확한 마스크를 요구하며, 일반적인 장면 이해는 객체와 환경 표면을 모두 포함하는 완전한 표현으로부터 이점을 얻는다.

인스턴스 분할 아키텍처(Instance Segmentation Architecture)는 일반적으로 시각 특징 추출(Visual Feature Extraction)과 객체 인식(Object Recognition), 위치 추정(Localization), 마스크 예측(Mask Prediction)을 위한 메커니즘을 결합한다. 백본(Backbone)은 영상을 계층적 특징 맵(Hierarchical Feature Map)으로 변환하고, 다중 스케일 처리(Multi-Scale Processing)는 서로 다른 크기의 객체 정보를 보존한다. 검출 기반 구조는 먼저 객체 후보를 찾은 뒤 각 인스턴스의 마스크를 생성할 수 있으며, 새로운 쿼리 기반 구조(Query-Based Architecture)는 학습된 객체 쿼리(Object Query)로부터 클래스와 마스크를 직접 예측할 수 있다.

마스크 예측은 기존의 경계 상자 검출보다 더 세밀한 공간 정보(Spatial Information)를 요구한다. 경계 상자는 객체 주변의 배경 픽셀을 포함하지만, 분할 마스크는 객체의 실제 가시 윤곽(Visible Contour)을 따라가도록 한다. 정확한 마스크는 객체가 서로 겹치거나 로봇 매니퓰레이터(Manipulator)가 파지 가능한 영역을 선택해야 할 때, 또는 자율 로봇이 장애물의 경계를 추정해야 할 때 특히 유용하다. 그러나 영상 마스크는 가시 영역의 2차원 투영(2D Projection)을 표현할 뿐이며, 그 자체로 완전한 3차원 기하 정보를 제공하지는 않는다.

다중 스케일 표현(Multi-Scale Representation)은 로봇 카메라가 매우 다양한 거리의 객체를 관찰하기 때문에 중요하다. 가까운 팔레트는 수천 개의 픽셀을 차지할 수 있지만 멀리 있는 보행자는 작은 영상 영역으로만 나타날 수 있다. 특징 피라미드(Feature Pyramid)와 관련된 다중 해상도 메커니즘(Multi-Resolution Mechanism)은 높은 해상도의 공간 정보와 깊은 의미 특징을 결합한다. 충분한 고해상도 표현이 없으면 작은 객체가 특징 다운샘플링(Feature Downsampling) 과정에서 사라질 수 있으며, 의미적 문맥이 부족하면 시각적으로 유사한 객체를 구분하기 어려워질 수 있다.

가림(Occlusion)은 로봇 인스턴스 분할의 주요 과제 중 하나다. 보행자가 차량 뒤에 부분적으로 가려지거나, 팔레트가 장비에 의해 가려지거나, 객체 일부가 카메라 시야각(Field of View) 밖으로 벗어날 수 있다. 네트워크는 가시 픽셀만 관찰하므로 실제 객체 경계와 가림에 의해 형성된 경계를 구분해야 한다. 시간적 추적(Temporal Tracking), 깊이 추정(Depth Estimation), 다중 시점 관측(Multi-View Observation), 보완 센서(Complementary Sensor)를 활용하면 객체 식별 정보를 유지하고 가시 영역이 변화하는 상황에서도 보다 안정적인 해석이 가능하다.

파놉틱 분할은 전체 영상에 의미 및 인스턴스 정보를 할당해야 하므로 추가적인 일관성 요구사항(Consistency Requirement)을 가진다. 객체 영역은 배경 영역과 충돌하지 않아야 하고, 서로 다른 인스턴스는 구별되어야 하며, 의미적으로 연속된 표면은 일관되게 유지되어야 한다. 잘못된 분류, 객체 누락, 인스턴스 병합(Merged Instance), 마스크 분절(Fragmented Mask), 사물과 배경 영역 사이의 잘못된 할당 등 다양한 오류가 발생할 수 있다. 따라서 파놉틱 인지는 독립적인 객체 검출이나 분할보다 포괄적이지만 더욱 복잡한 표현이다.

평가(Evaluation)는 인식 품질과 분할 품질을 모두 고려해야 한다. 교집합 대비 합집합(Intersection over Union, IoU)은 예측 영역과 기준 영역의 중첩 정도를 측정하고, 클래스별 분할 지표(Class-Specific Segmentation Metric)는 의미적 정확도를 평가한다. 인스턴스 중심 평가는 개별 객체가 올바르게 검출되고 분할되었는지를 고려한다. 파놉틱 품질(Panoptic Quality, PQ)은 인식과 분할 요소를 결합하여 전체 결과를 평가한다. 로봇에서는 작은 경계 오차도 내비게이션과 조작에서 서로 다른 영향을 줄 수 있으므로 작업별 평가(Task-Specific Evaluation)가 추가되어야 한다.

시간적 안정성(Temporal Stability)은 이동 로봇에서 특히 중요하다. 개별 프레임의 분할 결과가 정확하더라도 카메라 움직임, 조명 변화, 부분 가림, 네트워크 신뢰도의 작은 변화로 인해 예측 마스크가 프레임 사이에서 흔들릴 수 있다. 이러한 불안정성은 추적, 지도 작성(Mapping), 경로 계획(Planning)으로 전파될 수 있다. 프레임 사이에서 마스크를 연결하고 객체 추적(Object Tracking), 광학 흐름(Optical Flow), 시간 특징 집계(Temporal Feature Aggregation)를 적용하면 프레임 단위 분할 결과를 물리적 객체와 환경 영역에 대한 지속적인 표현으로 변환할 수 있다.

분할은 깊이 정보(Depth Information)와 결합될 때 활용 가치가 크게 증가한다. 2차원 마스크는 어떤 영상 픽셀이 객체에 속하는지를 식별하며, 단안 깊이(Monocular Depth), 스테레오 비전(Stereo Vision), RGB-D 센싱(RGB-D Sensing), LiDAR를 이용하면 해당 픽셀에 거리와 3차원 기하 정보를 연결할 수 있다. 이렇게 생성된 객체 표현은 장애물 위치 추정, 파지 계획(Grasp Planning), 공간 측정, 의미 지도 작성(Semantic Mapping), 충돌 검사(Collision Checking)를 지원한다. 이는 카메라 분할이 보다 광범위한 기하학적 인지 아키텍처(Geometric Perception Architecture)의 의미 계층으로 기능한다는 것을 보여준다.

내비게이션에서 분할은 경계 상자 검출만 사용하는 것보다 주행 가능 영역(Traversable Region)과 주행 불가능 영역(Non-Traversable Region)을 더 정밀하게 분류할 수 있다. 바닥, 도로, 보도, 식생, 벽, 차량, 보행자, 미확인 영역을 내비게이션 시스템에서 서로 다르게 해석할 수 있다. 의미 또는 파놉틱 마스크는 이후 점유 지도(Occupancy Map)와 의미 비용 지도(Semantic Costmap)에 활용될 수 있다. 그러나 익숙하지 않은 객체나 불리한 조명, 도메인 변화(Domain Shift)에서 분할 네트워크가 실패할 수 있으므로 분할되지 않은 영역을 자유 공간(Free Space)으로 간주해서는 안 된다.

조작에서는 인스턴스 분할이 개별 목표 객체(Target Object)에 대한 명시적인 표현을 제공한다. 로봇 팔(Robot Arm)은 객체 마스크를 사용하여 깊이 측정값을 분리하고, 가시 기하 구조를 추정하며, 관심 영역(Region of Interest)을 계산하거나 6자유도 자세 추정(6DoF Pose Estimation)의 입력을 생성할 수 있다. 여러 객체가 빈(Bin) 내부에서 접촉하거나 겹치는 경우에는 개별 인스턴스를 분리하는 것이 특히 중요하다. 따라서 분할 결과는 단순한 시각화 결과가 아니라 자세 추정, 파지 계획, 조작 제어(Manipulation Control)와 연결된다.

카메라 조건(Camera Condition)은 분할 품질에 큰 영향을 미친다. 렌즈 왜곡(Lens Distortion), 모션 블러(Motion Blur), 그림자, 반사, 노출 변화(Exposure Change), 비, 안개, 오염, 진동, 조명 변화는 객체 외형과 경계를 변화시킬 수 있다. 따라서 학습 및 검증 데이터는 실제 운용 영역(Operational Domain)을 가능한 한 충실하게 반영해야 한다. 산업용 로봇과 실외 자율이동로봇(Outdoor AMR)은 일반적인 영상 데이터셋과 다른 카메라 높이와 관측 각도를 사용하기 때문에 실제 배포 환경에 특화된 데이터 수집과 미세조정(Fine-Tuning)이 중요하다.

입력 해상도(Input Resolution)는 경계 품질과 계산 비용 사이에 직접적인 절충 관계(Trade-Off)를 형성한다. 높은 해상도는 얇은 구조, 작은 객체, 세밀한 윤곽을 보존하지만 메모리 트래픽(Memory Traffic)과 추론 지연시간(Inference Latency)을 증가시킨다. 낮은 해상도는 처리량을 향상시키지만 정확한 마스크 생성에 필요한 정보를 제거할 수 있다. 마스크 자체도 원본 영상보다 낮은 해상도에서 생성한 뒤 업샘플링(Upsampling)할 수 있으므로 요구 검출 거리, 객체 크기, 플랫폼 속도, 사용 가능한 연산 자원을 기준으로 영상과 마스크 해상도를 결정해야 한다.

엣지 배포(Edge Deployment)에서는 신경망뿐만 아니라 전체 분할 파이프라인(Segmentation Pipeline)을 최적화해야 한다. 영상 획득, 크기 조정, 정규화(Normalization), 추론, 마스크 생성, 원본 영상 크기로의 복원, 후처리(Post-Processing), 메시지 직렬화(Message Serialization), 하위 모듈로의 전송이 모두 지연시간에 영향을 준다. FP16 또는 INT8 추론은 계산량과 메모리 사용량을 줄일 수 있지만 양자화(Quantization)가 작은 객체, 얇은 구조, 신뢰도, 세밀한 마스크 경계에 영향을 줄 수 있으므로 충분한 검증이 필요하다.

ROS2 기반 로봇 아키텍처에서는 분할 결과를 카메라 보정(Camera Calibration) 및 좌표 프레임(Coordinate Frame) 정보와 연결된 타임스탬프 기반 출력으로 발행할 수 있다. 메시지에는 의미 레이블, 인스턴스 식별자, 신뢰도 점수, 경계 상자, 이진 마스크(Binary Mask), 압축 마스크(Compressed Mask), 인덱스 분할 영상(Indexed Segmentation Image) 등이 포함될 수 있다. 원래의 영상 획득 타임스탬프를 유지하는 것은 깊이 카메라, LiDAR, 레이더(Radar), 관성측정장치(IMU) 데이터와 동기화하기 위해 중요하다.

모듈형 인지 아키텍처(Modular Perception Architecture)는 영상 전처리, 신경망 추론, 마스크 해석, 시간적 추적, 센서 융합(Sensor Fusion), 응용 인터페이스(Application Interface)를 분리할 수 있다. 이를 통해 전체 로봇 소프트웨어 스택을 다시 설계하지 않고도 서로 다른 분할 모델을 평가할 수 있다. 동일하게 정규화된 표현을 내비게이션, 조작, 의미 지도 작성, 장면 이해, 데이터 기록에 제공할 수 있으며, 배포 과정에서 GPU 사용률, 지연시간, 메모리 소비량, 실패율, 모델 정확도를 독립적으로 분석할 수 있다.

인스턴스 분할과 파놉틱 분할은 궁극적으로 카메라 영상을 단순한 픽셀 집합에서 객체와 환경 영역에 대한 구조화된 표현으로 변환한다. 인스턴스 분할은 객체별 마스크를 제공하고, 파놉틱 분할은 개별 객체와 연속적인 의미 표면을 결합하여 전체 장면을 표현한다. 카메라 인지(Camera Perception) 구조에서 이러한 기능은 2차원 객체 검출과 깊이 추정, 조감도 인지(BEV Perception), 3차원 객체 검출(3D Object Detection), 광학 흐름, 자세 추정, ROS2 통합, 엣지 배포를 자연스럽게 연결하는 기반을 형성한다.

02.03. Monocular Depth Estimation DPT DepthAnything [w/Code]

단안 깊이 추정(Monocular Depth Estimation)은 하나의 RGB 영상으로부터 장면의 깊이(Scene Depth)를 예측하여 스테레오 대응(Stereo Correspondence)이나 능동형 깊이 센서(Active Depth Sensor) 없이도 로봇이 대략적인 기하 구조를 추론할 수 있도록 한다. 객체 검출(Object Detection)이나 분할(Segmentation)이 주로 영상 평면(Image Plane)의 의미 정보를 설명하는 것과 달리, 깊이 추정은 각 픽셀(Pixel)에 깊이와 관련된 값을 할당한다. 이렇게 생성된 밀집 깊이 표현(Dense Depth Representation)은 장애물 판단, 내비게이션(Navigation), 조작(Manipulation), 3차원 재구성(3D Reconstruction), 센서 융합(Sensor Fusion)에 활용될 수 있다.

근본적인 어려움은 하나의 영상만으로 절대적인 3차원 기하 구조(Absolute 3D Geometry)를 일반적으로 유일하게 결정할 수 없다는 점이다. 서로 다른 물리적 장면이 유사한 2차원 투영(2D Projection)을 생성할 수 있기 때문에 본질적으로 비정형 역문제(Ill-Posed Inverse Problem)가 된다. 사람은 원근법(Perspective), 상대적 객체 크기, 질감 기울기(Texture Gradient), 가림(Occlusion), 음영(Shading), 의미적 지식(Semantic Knowledge)과 같은 학습된 시각 단서를 이용해 이러한 모호성을 해결한다. 현대의 단안 깊이 네트워크도 대규모 학습 데이터에서 영상 외형과 장면 기하 사이의 통계적 관계를 학습한다.

단안 깊이 네트워크(Monocular Depth Network)는 RGB 영상을 입력받아 입력 영상과 공간적으로 대응되는 밀집 깊이 지도(Dense Depth Map) 또는 역깊이 지도(Inverse-Depth Map)를 생성한다. 각각의 출력 값은 해당 시선 방향(Viewing Direction)을 따라 장면의 거리 또는 상대 깊이를 추정한다. 학습 방식에 따라 예측 결과는 물리적 단위의 미터 깊이(Metric Depth), 스케일 불변 깊이(Scale-Invariant Depth), 상대 깊이 순서(Relative Depth Ordering), 시차 형태의 값(Disparity-Like Quantity), 또는 추가 정보가 있어야 미터 단위로 해석할 수 있는 아핀 불변 깊이(Affine-Invariant Depth)를 나타낼 수 있다.

따라서 로봇 응용에서는 상대 깊이(Relative Depth)와 미터 깊이(Metric Depth)를 명확히 구분해야 한다. 상대 깊이는 한 표면이 다른 표면보다 가까운지를 올바르게 판단할 수 있지만 절대 거리는 불확실할 수 있다. 미터 깊이는 일반적으로 미터 단위의 물리적 거리를 추정하며 충돌 검사(Collision Checking)나 기하학적 측정에 보다 직접적으로 사용할 수 있다. 깊이 지도가 시각적으로 그럴듯하더라도 모델, 보정(Calibration), 운용 영역(Operational Domain), 출력 정의가 이를 명시적으로 지원하지 않는다면 미터 단위로 정확하다고 해석해서는 안 된다.

밀집 예측 트랜스포머(Dense Prediction Transformer, DPT)는 단안 깊이 추정과 같은 밀집 예측 작업(Dense Prediction Task)을 위한 트랜스포머 중심 아키텍처(Transformer-Oriented Architecture)를 제시한다. 기존의 합성곱 특징 계층(Convolutional Feature Hierarchy)에만 의존하지 않고 비전 트랜스포머(Vision Transformer)가 생성한 표현을 사용하며, 여러 트랜스포머 단계의 특징을 영상 형태의 특징 맵(Feature Map)으로 다시 구성한다. 이후 이러한 표현을 점진적으로 융합하고 정제하여 트랜스포머 인코더(Transformer Encoder)가 학습한 전역 문맥 정보를 유지하면서 공간적 세부 정보를 복원한다.

트랜스포머 인코더는 영상을 패치(Patch)로 나누고 이를 토큰 표현(Token Representation)으로 변환한 뒤 자기 어텐션(Self-Attention)을 통해 토큰 사이의 관계를 처리한다. 이를 통해 비교적 넓은 전역 수용 영역(Global Receptive Field)을 확보하고 영상에서 멀리 떨어진 영역들이 서로의 표현에 영향을 줄 수 있다. 깊이 추정에서는 바닥, 벽, 객체, 수평선, 원근 구조처럼 영상 전체에 넓게 분포된 요소들 사이의 관계가 기하학적 해석에 중요하기 때문에 이러한 전역 문맥(Global Context)이 유용할 수 있다.

DPT는 토큰 중심의 트랜스포머 표현을 다시 밀집 공간 예측(Dense Spatial Prediction)으로 변환해야 한다. 따라서 중간 특징(Intermediate Feature)을 적절한 공간 해상도로 재구성하고 융합 단계(Fusion Stage)를 통해 의미적 문맥과 공간 구조를 점진적으로 결합한다. 디코더(Decoder)는 최종적으로 영상과 정렬된 밀집 깊이 예측을 생성한다. 이러한 인코더-재구성-융합(Encoder-Reassembly-Fusion) 구조는 고수준의 전역적 이해가 결국 세밀한 픽셀 단위 기하 구조로 다시 변환되어야 한다는 밀집 비전(Dense Vision)의 일반적인 원리를 보여준다.

Depth Anything은 대규모이면서 다양한 시각 학습(Large-Scale and Diverse Visual Learning)을 강조함으로써 단안 깊이 추정을 발전시킨다. 제한적으로 구성된 깊이 데이터셋에만 의존하는 대신 광범위한 영상 데이터와 강력한 사전학습 시각 표현(Pretrained Visual Representation)을 활용하여 다양한 장면에 대한 일반화 성능(Generalization)을 향상시키는 접근을 취한다. 실제 로봇 카메라는 지도 학습에 사용된 깊이 데이터셋과 크게 다른 환경, 객체, 조명 조건, 시점(Viewpoint), 질감을 경험할 수 있기 때문에 이러한 특성은 로봇 응용에서 특히 중요하다.

광범위한 데이터로 학습된 단안 깊이 모델의 중요한 장점은 이전에 보지 못한 환경에서도 유용한 기하학적 사전정보(Geometric Prior)를 제공할 수 있다는 것이다. 실내 복도, 창고, 도로, 식생, 기계, 사람, 다양한 객체에 대해 정확한 미터 깊이가 불확실한 경우에도 가까운 영역에서 먼 영역으로 이어지는 합리적인 공간 구조를 생성할 수 있다. 이러한 예측은 깊이 센서를 사용할 수 없거나 일시적으로 성능이 저하되거나 플랫폼의 크기, 비용, 소비전력, 감지 범위 등에 제약이 있을 때 기존 기하 센싱을 보완할 수 있다.

DPT와 Depth Anything을 단순히 서로 교체 가능한 깊이 센서(Depth Sensor)로 간주해서는 안 된다. 이들은 학습 데이터 분포(Training Distribution)와 시각적 증거에 따라 출력이 결정되는 학습 기반 추론 시스템(Learned Inference System)이다. 질감이 없는 표면, 거울, 투명 객체, 비정상적인 크기 관계, 강한 반사, 극단적인 조명, 모션 블러(Motion Blur), 익숙하지 않은 환경, 기하학적으로 모호한 객체에서는 잘못된 예측이 발생할 수 있다. 따라서 로봇은 불확실성을 유지해야 하며 단안 깊이를 절대적으로 신뢰할 수 있는 기하학적 측정으로 취급해서는 안 된다.

깊이가 신경망으로 예측되더라도 카메라 보정(Camera Calibration)은 중요하다. 내부 파라미터(Intrinsic Parameter)는 영상 픽셀과 카메라 광선(Camera Ray) 사이의 관계를 정의하며, 출력이 적절한 기하학적 의미를 가지는 경우 깊이 값을 3차원 좌표로 투영할 수 있게 한다. 보정된 초점 거리(Focal Length)와 주점(Principal Point)을 이용하면 픽셀과 깊이를 카메라 좌표계(Camera Coordinate)로 역투영(Back-Projection)할 수 있다. 외부 파라미터(Extrinsic Calibration)는 이러한 좌표를 로봇 본체, 매니퓰레이터, 지도 또는 다른 센서 좌표계와 연결한다.

신뢰할 수 있는 미터 깊이를 사용할 수 있다면 예측된 깊이 영상을 보정된 카메라 모델을 통해 픽셀 단위로 역투영하여 의사 포인트 클라우드(Pseudo Point Cloud)로 변환할 수 있다. 이러한 표현은 국부 장애물 분석(Local Obstacle Analysis), 장면 재구성(Scene Reconstruction), LiDAR 측정값과의 융합 등에 활용할 수 있다. 그러나 예측된 스케일의 오차는 그대로 3차원 위치 오차로 변환된다. 상대 깊이 모델은 물리적 거리가 필요한 계산에 사용하기 전에 스케일 정렬(Scale Alignment)이나 다른 미터 단위 정보가 필요하다.

시간적 일관성(Temporal Consistency)은 이동 로봇에서 또 다른 중요한 요구사항이다. 각 프레임을 독립적으로 처리하는 모델은 실제 장면이 부드럽게 변화하더라도 깊이 값이 프레임마다 변동할 수 있다. 카메라 움직임, 노출 변화, 모션 블러, 부분 가림, 작은 영상 변화로 인해 프레임 간 깊이 불안정성이 발생할 수 있다. 시간 필터링(Temporal Filtering), 시각 주행거리계(Visual Odometry), 광학 흐름(Optical Flow), 추적(Tracking), 다중 프레임 깊이 구조(Multi-Frame Depth Architecture)를 이용하면 이러한 불일치를 줄이고 내비게이션과 지도 작성에 보다 안정적인 표현을 제공할 수 있다.

단안 깊이는 의미 분할(Semantic Segmentation) 및 인스턴스 분할(Instance Segmentation)과 자연스럽게 결합할 수 있다. 분할은 어떤 픽셀이 객체 또는 환경 영역에 속하는지를 식별하고, 깊이는 해당 영역의 기하학적 배치를 추정한다. 따라서 로봇은 보행자, 팔레트, 차량, 바닥, 벽 등에 해당하는 깊이 값을 분리하여 대략적인 공간 관계를 계산할 수 있다. 이러한 결합은 순수한 영상 평면 기반 인식에서 객체 중심의 3차원 인지(Object-Aware 3D Perception)로 전환하는 기반을 제공한다.

LiDAR 또는 스테레오 센싱(Stereo Sensing)과의 융합은 단안 깊이 추정의 중요한 약점을 보완할 수 있다. LiDAR는 직접적인 거리 측정값을 제공하지만 일반적으로 카메라보다 영상 평면에서의 데이터 밀도가 낮으며, 학습 기반 단안 깊이는 밀집된 예측을 제공하지만 스케일이나 일반화 오차가 발생할 수 있다. 융합 시스템은 희소한 미터 단위 측정값(Sparse Metric Measurement)을 이용하여 밀집된 카메라 깊이를 제약하거나 보정함으로써 시각의 의미적 풍부함 및 공간적 밀도와 직접 거리 센싱의 기하학적 신뢰성을 결합할 수 있다.

내비게이션에서 깊이 지도는 자유 공간 추정(Free-Space Estimation), 장애물 검출, 지형 해석(Terrain Interpretation), 지역 비용 지도(Local Costmap) 생성에 활용될 수 있다. 가까운 영역을 로봇 좌표계로 투영한 뒤 예상되는 지면이나 주행 가능 통로와 비교하여 분석할 수 있다. 그러나 충돌의 결과가 중요한 시스템에서는 단안 깊이가 일반적으로 안전 등급 장애물 센싱(Safety-Rated Obstacle Sensing)을 대체하기보다는 보완해야 한다. 미확인 객체, 도메인 변화(Domain Shift), 잘못된 스케일 추정은 깊이 영상만으로 탐지하기 어려운 오류를 만들 수 있다.

조작에서는 밀집 깊이(Dense Depth)가 객체 검출이나 분할을 통해 식별된 목표 객체 주변의 기하 정보를 제공한다. 로봇은 표면 구조를 추정하고 전경과 배경을 분리하며 자세 추정(Pose Estimation)을 초기화하거나 파지 계획(Grasp Planning)을 위한 대략적인 3차원 영역을 생성할 수 있다. 조작 작업은 일반적인 장면 이해보다 높은 정확도를 요구하는 경우가 많으므로 단안 깊이 결과를 스테레오, RGB-D, 구조광(Structured Light), LiDAR, 다중 시점 재구성(Multi-View Reconstruction), 직접적인 기하학적 검증을 통해 보완할 수 있다.

평가(Evaluation)에서는 예측 품질과 실제 운용상의 유용성을 구분해야 한다. 일반적인 깊이 평가 지표는 절대 또는 상대 오차, 임계값 정확도(Threshold Accuracy), 로그 오차(Logarithmic Error), 스케일 불변 일치도(Scale-Invariant Agreement) 등을 기준 깊이와 비교한다. 로봇에서는 장애물 거리 오차, 경계 정확도, 시간적 안정성, 도메인 변화에서의 실패, 안전과 관련된 거리 범위에서의 성능도 추가로 평가해야 한다. 평균 벤치마크 성능이 우수한 모델도 얇은 장애물이나 반사면, 중요한 객체 경계에서는 허용할 수 없는 국부 오차를 발생시킬 수 있다.

입력 해상도(Input Resolution)와 모델 크기(Model Size)는 배포 과정에서 직접적인 절충 관계를 형성한다. 높은 해상도는 작은 장애물, 좁은 구조, 세밀한 깊이 불연속(Depth Discontinuity)을 보존하지만 GPU 연산량, 메모리 트래픽(Memory Traffic), 추론 지연시간을 증가시킨다. 대형 트랜스포머 인코더는 표현 품질을 향상시킬 수 있지만 엣지 컴퓨터(Edge Computer)의 실시간 처리 예산을 초과할 수 있다. 따라서 깊이 정확도와 함께 프레임 지연시간, GPU 메모리, 열적 특성(Thermal Behavior), 소비전력, 플랫폼의 요구 반응시간을 평가해야 한다.

엣지 배포(Edge Deployment)에서는 최적화된 런타임(Optimized Runtime)과 FP16 또는 충분히 검증된 경우 INT8과 같은 저정밀 연산(Reduced-Precision Inference)을 사용할 수 있다. 전처리, 텐서 전송(Tensor Transfer), 추론, 크기 조정, 깊이 정규화(Depth Normalization), 3차원 투영, ROS2 메시지 발행까지 모두 종단간 지연시간(End-to-End Latency) 측정에 포함해야 한다. 또한 역깊이(Inverse Depth)의 정규화나 크기 조정, 해석이 잘못되면 신경망 추론 자체가 정상적으로 동작하더라도 심각한 기하학적 오류가 발생할 수 있으므로 출력의 수학적 의미를 유지해야 한다.

ROS2 아키텍처에서 깊이 모듈은 보정된 카메라 영상(Calibrated Camera Image)을 구독하고 카메라 프레임 및 깊이 표현 방식을 설명하는 메타데이터(Metadata)와 함께 타임스탬프 기반 깊이 지도를 발행할 수 있다. 하위 노드(Downstream Node)는 깊이를 포인트 클라우드로 변환하고, 분할 마스크와 연결하거나, LiDAR와 융합하거나, 지역 공간 표현(Local Spatial Representation)을 구축할 수 있다. 로봇이 빠르게 이동하거나 다른 센서 측정값과 깊이를 결합하는 경우 원본 영상의 타임스탬프와 좌표 프레임 관계를 유지하는 것이 필수적이다.

단안 깊이 추정은 궁극적으로 일반적인 카메라 영상을 환경에 대한 학습 기반 기하 표현(Learned Geometric Representation)으로 변환한다. DPT는 트랜스포머 특징을 밀집 공간 예측으로 재구성하는 방법을 보여주며, Depth Anything은 광범위한 시각 학습과 일반화의 중요성을 보여준다. 카메라 인지(Camera Perception) 구조에서 단안 깊이는 2차원 객체 검출과 분할에서 스테레오 깊이(Stereo Depth), 조감도 인지(BEV Perception), 카메라 기반 3차원 객체 검출, 광학 흐름, 자세 추정, 다중 센서 융합(Multi-Sensor Fusion)으로 이어지는 자연스러운 연결 역할을 한다.

02.04. Stereo Depth Estimation SGBM RAFT Stereo [w/Code]

스테레오 깊이 추정(Stereo Depth Estimation)은 알려진 공간적 간격을 가진 두 대의 카메라로 환경을 동시에 관측하여 장면의 기하 구조(Scene Geometry)를 복원한다. 학습된 시각 단서로 깊이를 추론하기 때문에 스케일 모호성(Scale Ambiguity)이 발생할 수 있는 단안 깊이 추정(Monocular Depth Estimation)과 달리, 보정된 스테레오 비전(Calibrated Stereo Vision)은 좌우 영상 사이의 기하학적 대응 관계(Geometric Correspondence)로부터 거리를 계산한다. 따라서 스테레오는 밀집된 3차원 인지가 필요한 이동 로봇, 자율주행 차량, 매니퓰레이터(Manipulator) 등에 중요한 수동형 거리 측정 기술(Passive Ranging Technology)이다.

스테레오 카메라 시스템(Stereo Camera System)은 일정한 베이스라인(Baseline)을 두고 배치된 좌측 및 우측 카메라로 구성된다. 두 카메라는 동일한 물리적 점을 서로 조금 다른 시점(Viewpoint)에서 관측하므로 해당 점의 영상 위치가 좌우 영상 사이에서 이동한다. 이러한 수평 방향의 변위를 시차(Disparity)라고 한다. 정류된 스테레오 영상(Rectified Stereo Pair)에서 깊이는 대략 Z = fB/d로 계산되며, Z는 깊이, f는 초점 거리(Focal Length), B는 베이스라인, d는 시차를 의미한다. 따라서 큰 시차는 가까운 객체를, 작은 시차는 먼 객체를 나타낸다.

정확한 보정(Calibration)은 스테레오 기하(Stereo Geometry)의 기본 조건이다. 내부 보정(Intrinsic Calibration)은 각 카메라의 초점 거리, 주점(Principal Point), 렌즈 왜곡(Lens Distortion)을 추정하고, 외부 보정(Extrinsic Calibration)은 두 카메라 사이의 회전(Rotation)과 이동(Translation)을 결정한다. 이후 스테레오 정류(Stereo Rectification)를 수행하여 대응점들이 거의 동일한 수평 주사선(Horizontal Scanline)에 위치하도록 두 영상을 변환한다. 이를 통해 2차원 대응점 탐색 문제를 에피폴라 선(Epipolar Line)을 따라 수행되는 주로 1차원적인 탐색 문제로 단순화할 수 있다.

핵심적인 계산 문제는 스테레오 정합(Stereo Matching), 즉 좌측 영상의 픽셀 또는 영상 특징에 대응하는 우측 영상의 픽셀이나 특징을 찾는 것이다. 정합에는 밝기(Intensity), 색상, 국부 질감(Local Texture), 학습된 특징(Learned Feature) 또는 이들을 결합한 표현을 사용할 수 있다. 대응 관계가 결정되면 시차를 계산하고 이를 깊이로 변환할 수 있다. 잘못된 대응 관계는 직접적으로 잘못된 기하 구조를 생성하므로 대응점 품질은 스테레오 인지 시스템의 신뢰성을 결정하는 가장 중요한 요소 중 하나이다.

스테레오 정합은 질감이 없는 영역(Textureless Region)에서 특히 어려워진다. 주변의 많은 픽셀이 거의 동일하게 보이기 때문에 올바른 대응점을 구별하기 어렵다. 반복 패턴(Repetitive Pattern)은 여러 개의 그럴듯한 대응 후보를 만들며, 반사면과 투명 표면은 좌우 영상의 외형이 일관되어야 한다는 가정을 위반한다. 또한 한쪽 카메라에서는 보이지만 다른 카메라에서는 보이지 않는 가림(Occlusion)이 발생할 수 있으며, 조명 차이, 모션 블러(Motion Blur), 영상 잡음, 부정확한 보정 역시 불안정하거나 잘못된 깊이 추정을 유발한다.

반전역 블록 정합(Semi-Global Block Matching, SGBM)은 국부 정합(Local Matching)의 효율성과 보다 넓은 공간적 일관성(Spatial Consistency)을 절충한 전통적인 스테레오 방법이다. 각 픽셀에서 독립적으로 시차를 선택하는 대신 정합 비용(Matching Cost)을 구성하고 여러 영상 방향을 따라 에너지 함수(Energy Function)를 근사적으로 최소화한다. 영상 정보가 급격한 변화를 지지하지 않는 경우 시차가 갑자기 변하는 것을 억제함으로써 단순한 국부 블록 정합보다 부드럽고 일관된 시차 지도를 생성하면서도 실시간 구현이 가능한 수준의 계산 효율성을 유지한다.

SGBM 파이프라인은 일반적으로 보정 및 정류된 스테레오 영상에서 시작하며, 사전에 정의된 시차 범위(Disparity Range)에 대해 정합 비용을 계산한다. 이후 여러 방향의 경로를 따라 비용을 집계하고, 평활성 페널티(Smoothness Penalty)를 적용하여 인접 픽셀이 유사한 시차를 가지도록 유도한다. 집계 비용이 가장 작은 시차를 선택한 뒤 일관성 검사(Consistency Check), 필터링, 정제(Refinement)를 추가할 수 있다. 최종 시차 영상은 보정된 초점 거리와 베이스라인을 이용하여 미터 단위 깊이(Metric Depth)로 변환된다.

여러 파라미터가 SGBM의 동작에 큰 영향을 준다. 최소 시차(Minimum Disparity)와 시차 개수는 탐색 가능한 깊이 범위를 결정하고, 블록 크기(Block Size)는 잡음 민감도와 세밀한 구조 보존 사이의 균형을 결정한다. 평활성 페널티는 인접 영역 사이에서 시차가 얼마나 쉽게 변화할 수 있는지를 조절한다. 유일성 제약(Uniqueness Constraint), 좌우 일관성 검사(Left-Right Consistency Check), 스펙클 필터링(Speckle Filtering), 서브픽셀 정제(Subpixel Refinement)는 신뢰성이 낮은 대응점을 제거하거나 정밀도를 향상시킬 수 있다.

SGBM은 기하학적 동작을 이해하기 쉽고 신경망 학습이 필요하지 않기 때문에 로봇 시스템에서 여전히 유용하다. 일반적인 CPU에서도 실행할 수 있으며, 제한된 시스템에서 유용한 결정론적 처리 특성(Deterministic Processing Characteristic)을 제공한다. 그러나 질감이 적은 표면, 얇은 구조, 반복 패턴, 큰 조명 변화, 복잡한 가림 환경에서는 기본 가정이 깨질 수 있다. 따라서 정확도는 영상 품질, 카메라 보정, 적절한 정합 파라미터 설정에 크게 의존한다.

RAFT-Stereo는 학습된 심층 시각 특징(Deep Visual Feature)과 반복적 정제(Iterative Refinement)를 이용하여 대응점 문제에 접근한다. 순환형 전쌍 필드 변환(Recurrent All-Pairs Field Transforms)의 개념을 기반으로 좌우 영상에서 특징 표현을 추출하고, 잠재적인 대응 관계를 나타내는 상관 정보(Correlation Information)를 구성한 뒤 순환 메커니즘(Recurrent Mechanism)을 통해 시차 추정치를 반복적으로 갱신한다. 즉시 하나의 국부 대응점을 결정하는 대신 학습된 문맥과 정합 증거를 이용하여 시차를 점진적으로 정제한다.

RAFT-Stereo의 핵심 개념 중 하나는 좌우 영상 특징 사이의 상관 표현(Correlation Representation)이다. 가능한 시차에 따른 특징 유사도(Feature Similarity)는 동일한 장면의 점이 상대 영상의 어느 위치에 존재할 가능성이 높은지를 나타낸다. 순환 갱신 연산자(Recurrent Update Operator)는 이러한 상관 정보와 문맥 특징(Contextual Feature), 현재의 시차 추정값을 반복적으로 참조한다. 각 반복 단계에서 보정값을 예측하고 시차 필드(Disparity Field)를 점차 일관된 해로 이동시킨다는 점에서 SGBM의 수작업 정합 비용 집계 방식과 근본적인 차이가 있다.

학습 기반 스테레오 모델(Learned Stereo Model)은 데이터에서 학습된 특징이 의미적 및 문맥적 정보를 포함하기 때문에 순수한 국부 알고리즘이 해결하기 어려운 모호성을 처리할 수 있다. 질감이 약한 표면에서도 고수준 시각 패턴이 대응 관계 판단에 도움을 줄 수 있으며 객체 경계와 주변 구조가 시차 정제를 지원할 수 있다. 그러나 RAFT-Stereo 역시 완전하지 않으며, 도메인 변화(Domain Shift), 비정상적인 광학 특성, 극단적인 날씨, 심각한 모션 블러, 학습되지 않은 카메라 구성, 반사 또는 투명 재질 등에서 성능이 저하될 수 있다.

따라서 SGBM과 RAFT-Stereo는 서로 보완적인 스테레오 접근 방식이다. SGBM은 명시적인 기하학적 가정, 설계된 정합 비용, 방향성 최적화(Directional Optimization), 설정 가능한 필터링을 사용한다. 반면 RAFT-Stereo는 데이터로부터 특징 표현과 반복적인 대응 관계 정제를 학습한다. SGBM은 해석하기 쉽고 CPU 중심 시스템에 배포하기 용이하지만, RAFT-Stereo는 일반적으로 더 많은 GPU 연산을 요구하는 대신 배포 환경이 학습 영역과 적절하게 일치한다면 어려운 시각 환경에서 더욱 강력한 시차 추정 성능을 제공할 수 있다.

스테레오 깊이 정확도는 베이스라인과 초점 거리에 크게 영향을 받는다. 넓은 베이스라인은 동일한 거리에서 더 큰 시차를 생성하여 장거리 깊이 해상도(Depth Resolution)를 향상시킬 수 있지만 두 카메라 사이의 시점 차이와 가림도 증가한다. 좁은 베이스라인은 근거리 장면에서 대응점 탐색을 쉽게 만들지만 장거리에서는 시차가 매우 작아진다. 따라서 카메라 선택과 기계적 배치는 응용 분야에서 요구되는 감지 범위(Sensing Range)를 기준으로 설계해야 한다.

시차가 작아질수록 깊이 불확실성(Depth Uncertainty)도 빠르게 증가한다. 깊이는 시차에 반비례하기 때문에 장거리에서 작은 시차 오차도 큰 거리 오차를 발생시킬 수 있다. 따라서 스테레오 시스템은 초점 거리, 베이스라인, 영상 해상도, 정합 정밀도로 결정되는 제한된 유효 작동 범위(Working Range)에서 가장 높은 성능을 발휘한다. 내비게이션과 장애물 검출에서는 전체 시야에서 깊이 정확도가 일정하다고 가정하기보다 거리에 따른 깊이 오차 특성을 분석해야 한다.

스테레오 깊이는 자연스럽게 밀집된 3차원 정보(Dense 3D Information)를 생성할 수 있다. 시차를 미터 단위 깊이로 변환한 뒤 보정된 픽셀을 카메라 좌표계로 역투영(Back-Projection)하면 포인트 클라우드(Point Cloud)를 생성할 수 있다. 이후 의미 분할(Semantic Segmentation)이나 인스턴스 분할(Instance Segmentation) 마스크를 이용하여 3차원 점들을 보행자, 차량, 팔레트, 바닥, 벽, 조작 대상과 연결할 수 있다. 이를 통해 카메라 기반 객체 인식과 명시적인 기하 구조를 결합하여 의미 포인트 클라우드(Semantic Point Cloud), 객체 거리 추정, 지역 지도 작성(Local Mapping), 기하학적 추론을 수행할 수 있다.

시간적 처리(Temporal Processing)는 이동 로봇에서 스테레오 인지 성능을 향상시킬 수 있다. 독립적으로 생성된 시차 지도는 영상 잡음, 질감 변화, 진동, 일시적인 대응 실패로 인해 프레임 사이에서 변동할 수 있다. 시각 주행거리계(Visual Odometry), 광학 흐름(Optical Flow), 추적(Tracking), 시간 필터링(Temporal Filtering)을 사용하면 여러 프레임의 정보를 정렬하고 불안정한 측정값을 억제할 수 있다. 그러나 움직이는 객체에 정적 기하 구조를 잘못 가정하면 깊이 관측값이 번지거나 지도와 장애물 표현에 고스트 구조(Ghost Structure)가 생성될 수 있으므로 주의해야 한다.

스테레오는 LiDAR, 레이더(Radar), 관성측정장치(IMU), 단안 깊이 추정과도 융합할 수 있다. LiDAR는 정확한 희소 또는 준밀집 거리 측정값을 제공하고, 레이더는 악천후에서도 강인한 거리와 속도 정보를 제공하며, IMU는 플랫폼의 운동 상태를 파악하는 데 도움을 준다. 학습 기반 단안 깊이는 스테레오 대응 관계가 약한 영역에서 유용한 사전정보(Prior)를 제공할 수 있다. 센서 융합은 하나의 카메라 쌍이 모든 환경 조건에서 신뢰성을 유지해야 한다는 부담을 줄이고 각 센서의 상호 보완적인 특성을 활용한다.

내비게이션에서 스테레오 깊이는 주변 장애물 식별, 자유 공간(Free Space) 추정, 지형 분석(Terrain Analysis), 지역 점유 지도(Local Occupancy Map) 또는 비용 지도(Costmap) 생성에 활용할 수 있다. 조작에서는 분할된 객체 주변의 밀집 깊이 정보를 이용하여 표면 재구성, 자세 추정(Pose Estimation), 파지 계획(Grasp Planning), 충돌 검사를 수행할 수 있다. 스테레오는 적외선 패턴과 같은 능동 조명(Active Illumination)을 투사할 필요가 없는 수동형 센싱이라는 장점이 있지만, 가시 영상의 질감에 의존한다는 점에서 능동형 깊이 카메라와 다른 제약을 가진다.

평가(Evaluation)에는 시차 오차(Disparity Error), 깊이 오차(Depth Error), 유효하지 않은 픽셀 비율(Invalid-Pixel Rate), 경계 품질(Boundary Quality), 거리에 따른 성능을 포함해야 한다. 로봇 시스템에서는 추가적으로 시간적 안정성, 얇은 장애물 검출, 지연시간(Latency), 조명 변화에서의 실패, 보정 민감도(Calibration Sensitivity), 반사면이나 저질감 표면에서의 동작을 평가해야 한다. 평균적인 벤치마크 정확도만으로 실제 운용 적합성을 판단할 수 없으며, 장애물 주변에서 발생하는 소수의 심각한 깊이 오류가 중요하지 않은 배경 영역의 작은 오차보다 훨씬 큰 영향을 미칠 수 있다.

실시간 배포(Real-Time Deployment)에서는 전체 스테레오 파이프라인을 고려해야 한다. 카메라 동기화(Camera Synchronization), 영상 획득, 정류, 정합 또는 신경망 추론, 시차 필터링, 깊이 변환, 포인트 클라우드 생성, ROS2 통신이 모두 지연시간에 영향을 준다. SGBM은 CPU나 임베디드 프로세서(Embedded Processor)에서도 실용적일 수 있지만, RAFT-Stereo는 일반적으로 GPU 가속과 저정밀 추론(Reduced-Precision Inference)의 이점을 크게 얻는다. 해상도, 시차 범위, 모델 크기, 메모리 사용량, 열적 한계(Thermal Limit), 요구 갱신 주기를 기하학적 정확도와 함께 균형 있게 설계해야 한다.

ROS2 아키텍처에서는 동기화된 좌우 카메라 스트림(Camera Stream)이 보정 정보와 함께 영상 획득 타임스탬프(Acquisition Timestamp)를 유지해야 한다. 정류된 영상은 전통적인 SGBM 또는 학습 기반 RAFT-Stereo 노드에 입력될 수 있으며, 표준화된 깊이 또는 시차 출력 인터페이스를 사용하면 하위 소프트웨어가 선택된 알고리즘에 크게 의존하지 않도록 구성할 수 있다. 이후 포인트 클라우드 생성, 분할 융합, 장애물 검출, 지도 작성, 내비게이션 모듈이 동일한 기하학적 인터페이스를 사용할 수 있으므로 스테레오 알고리즘을 모듈 방식으로 교체하고 비교 평가할 수 있다.

스테레오 깊이 추정은 궁극적으로 두 카메라의 관측을 대응 관계(Correspondence)와 삼각측량(Triangulation)을 통해 명시적인 미터 단위 기하 구조로 변환한다. SGBM은 설계된 정합 비용과 반전역 최적화(Semi-Global Optimization)를 통해 실용적인 시차 지도를 생성하는 방법을 보여주며, RAFT-Stereo는 학습된 특징, 상관 표현, 반복적 정제의 강점을 보여준다. 카메라 인지(Camera Perception) 구조에서 스테레오 깊이는 단안 깊이를 보완하면서 조감도 인지(BEV Perception), 3차원 객체 검출(3D Object Detection), 광학 흐름, 자세 추정, 이후의 다중 센서 융합(Multi-Sensor Fusion)을 위한 기하학적 기반을 제공한다.

02.05. BEV Perception from Multi Camera BEVFormer [w/Code]

조감도 인지(Bird's-Eye-View Perception)는 주변에 배치된 여러 카메라의 관측 정보를 로봇 또는 차량 좌표계(Robot or Vehicle Coordinate System)에 정의된 하나의 통합 표현으로 변환한다. 각 원근 영상(Perspective Image)을 독립적으로 해석하는 대신, 시스템은 시각 정보를 공통의 지면 중심 공간 평면(Ground-Oriented Spatial Plane)에 구성한다. 이러한 표현은 내비게이션(Navigation), 장애물 판단, 궤적 계획(Trajectory Planning), 지도 작성(Mapping), 이동 객체와의 상호작용을 플랫폼 주변의 미터 단위 공간에서 자연스럽게 표현할 수 있기 때문에 자율 로봇에 특히 유용하다.

다중 카메라 시스템(Multi-Camera System)은 일반적으로 로봇 주변에 여러 카메라를 배치하여 서로 중첩되거나 상호 보완적인 시야(Field of View)를 제공한다. 전방, 후방, 측면 카메라는 환경의 서로 다른 영역을 관측하며 각 영상에는 카메라 광학 기하(Optical Geometry)에 의해 결정되는 원근 왜곡(Perspective Distortion)이 포함된다. 카메라에 가까운 객체는 크게 보이고 먼 객체는 작게 보인다. BEV 인지는 이러한 서로 다른 원근 관측을 공통 공간 표현으로 변환하여 하위 경로 계획 모듈이 위치와 공간 관계를 보다 쉽게 해석하도록 한다.

카메라 보정(Camera Calibration)은 이러한 변환의 기본 요소이다. 각 카메라는 초점 거리(Focal Length), 주점(Principal Point), 렌즈 왜곡(Lens Distortion)을 설명하는 내부 파라미터(Intrinsic Parameter)와 로봇 좌표계에 대한 위치 및 방향을 정의하는 외부 파라미터(Extrinsic Parameter)를 필요로 한다. 이러한 파라미터는 영상 픽셀과 3차원 시선 광선(Viewing Ray) 사이의 기하학적 관계를 정의한다. 정확한 보정은 여러 카메라의 시각 특징을 일관된 공간 영역에 연결하지만, 보정 오차는 BEV 특징의 위치 이동, 중복 또는 기하학적 불일치를 발생시킬 수 있다.

전통적인 접근법은 역원근 매핑(Inverse Perspective Mapping)을 이용하여 영상 정보를 지면 평면(Ground Plane)에 투영할 수 있다. 이러한 방법은 관련 표면이 대략적인 평면 지면 가정(Planar-Ground Assumption)을 만족할 때 효과적이지만 실제 환경에는 차량, 보행자, 연석, 벽, 경사로, 식생, 기계류와 같이 지면 위 또는 아래로 확장되는 구조물이 존재한다. 따라서 현대의 학습 기반 BEV 아키텍처(Learned BEV Architecture)는 고정된 기하학적 변환으로 영상 픽셀을 단순히 워핑(Warping)하는 대신 더욱 풍부한 공간 표현을 추론하는 것을 목표로 한다.

BEVFormer는 어텐션(Attention)을 이용하여 다중 카메라 영상으로부터 BEV 특징을 구성하는 트랜스포머 기반 아키텍처(Transformer-Based Architecture)로 이 문제에 접근한다. 미리 정의된 BEV 쿼리(BEV Query) 격자는 자차 플랫폼(Ego Platform) 주변의 공간 위치를 나타낸다. 이 쿼리들은 각 카메라 영상을 직접 조감도 평면으로 재표본화(Resampling)하는 대신 주변 카메라에서 추출된 다중 스케일 영상 특징(Multi-Scale Image Feature)과 상호작용한다. 결과적으로 카메라 기하와 학습된 시각 정보를 결합하면서 BEV 좌표계에서 일관된 공간 구조를 유지한다.

처리 파이프라인은 시각 백본(Visual Backbone)을 이용하여 모든 카메라에서 계층적 영상 특징(Hierarchical Image Feature)을 추출하는 단계에서 시작한다. 가까운 객체는 영상의 큰 영역을 차지하지만 멀리 있는 차량, 보행자, 장애물은 매우 작게 나타날 수 있기 때문에 다중 스케일 특징이 중요하다. 네트워크는 세밀한 공간 정보를 보존하면서 동시에 고수준 의미 문맥(Semantic Context)을 학습해야 한다. 이후 모든 카메라의 특징은 BEV 쿼리가 환경의 대응 공간 영역에 대한 정보를 수집하는 시각적 정보원으로 사용된다.

BEV 쿼리는 플랫폼 주변의 미리 정의된 영역에 분포된 잠재 공간 셀(Latent Spatial Cell)로 이해할 수 있다. 각 쿼리는 특정 영상 픽셀이 아니라 하향식 좌표계(Top-Down Coordinate System)의 공간 위치를 나타낸다. 카메라 보정 정보는 해당 공간 가설(Spatial Hypothesis)이 사용 가능한 카메라 영상의 어느 위치에 나타날 수 있는지를 결정하는 관계를 제공한다. 어텐션 기반 샘플링(Attention-Based Sampling)을 통해 각 BEV 쿼리는 관련 시각 정보를 수집하고 자신의 표현을 갱신하면서 원근 영상 특징을 구조화된 하향식 특징 맵으로 변환한다.

공간 교차 어텐션(Spatial Cross-Attention)은 BEVFormer의 핵심 구성요소이다. 하나의 BEV 쿼리가 모든 카메라의 모든 픽셀과 동일하게 상호작용할 필요는 없다. 대신 기하학적 투영(Geometric Projection)을 통해 해당 쿼리가 나타내는 공간 위치와 관련될 가능성이 있는 카메라 영역을 식별한다. 이후 어텐션은 이러한 영역과 카메라에서 유용한 특징을 선택적으로 샘플링한다. 이러한 기하 기반 메커니즘은 불필요한 상호작용을 줄이고 다중 시점 원근 특징과 공통 BEV 표현 사이에 구조화된 연결을 제공한다.

다중 카메라의 시야 중첩(Multi-Camera Overlap)은 기회와 문제를 동시에 제공한다. 하나의 물리적 객체가 여러 카메라에 동시에 나타날 수 있으므로 상호 보완적인 관측을 이용하여 강인성을 향상시킬 수 있다. 그러나 시점, 가림(Occlusion), 조명, 렌즈 특성, 특징 해상도의 차이로 인해 관측 결과가 서로 일치하지 않을 수 있다. BEV 표현은 반복적으로 관측된 동일 객체를 서로 다른 물리적 객체로 해석하지 않으면서 여러 시점을 통합해야 한다. 따라서 정확한 외부 보정과 학습 기반 다중 시점 특징 집계(Multi-View Feature Aggregation)가 공간적 일관성을 유지하는 데 필수적이다.

BEVFormer는 로봇이 독립된 정지 영상이 아니라 지속적으로 변화하는 세계에서 동작한다는 점을 고려하여 시간 정보(Temporal Information)도 통합한다. 이전 프레임의 BEV 표현은 이미 관측된 객체와 구조에 대한 유용한 정보를 포함한다. 시간 자기 어텐션(Temporal Self-Attention)은 현재의 BEV 쿼리가 과거의 BEV 특징과 상호작용하도록 한다. 융합 전에 자기 운동(Ego-Motion)을 고려하여 이전 공간 정보를 현재 로봇 좌표계에 정렬해야 하며, 그렇지 않으면 과거 위치의 정보가 현재 공간에 잘못 중첩될 수 있다.

시간 융합(Temporal Fusion)은 여러 가지 이점을 제공한다. 현재 영상에서 일시적으로 가려지거나 명확하게 보이지 않는 객체도 이전 관측의 유용한 정보를 유지할 수 있다. 멀리 있거나 작은 객체는 여러 프레임에서 증거를 누적할 수 있으며 정적인 환경 구조는 더욱 안정적으로 표현될 수 있다. 따라서 시간적 추론(Temporal Reasoning)은 프레임 간 변동을 줄이고 연속성을 향상시킬 수 있다. 그러나 이동 객체는 자차 플랫폼과 독립적으로 위치가 변화하므로 자기 운동 보상(Ego-Motion Compensation)만으로 처리할 수 없으며 별도의 주의가 필요하다.

생성된 BEV 특징 맵(BEV Feature Map)은 반드시 일반적인 영상 형태일 필요는 없다. 각 공간 셀이 하위 인지 작업에 필요한 정보를 인코딩하는 학습된 잠재 표현(Learned Latent Representation)이다. 검출 헤드(Detection Head)는 이 표현으로부터 객체 클래스, 위치, 크기, 방향, 속도 등을 예측할 수 있다. 다른 헤드는 의미 BEV 분할(Semantic BEV Segmentation), 차선 또는 주행 가능 영역 추정, 점유 예측(Occupancy Prediction), 지도 요소 추출(Map-Element Extraction)을 수행할 수 있다. 따라서 하나의 공유 BEV 백본이 공통 좌표 체계를 이용하여 여러 공간 인지 작업을 지원할 수 있다.

3차원 객체 검출(3D Object Detection)은 BEV 인지의 가장 중요한 응용 중 하나이다. 원근 영상에서는 겉보기 크기가 깊이에 크게 의존하므로 객체 사이의 미터 단위 공간 관계를 직접 추론하기 어렵다. BEV 공간에서는 로봇을 기준으로 종방향(Longitudinal)과 횡방향(Lateral) 좌표를 이용하여 객체를 표현할 수 있다. 예측된 3차원 경계 상자(3D Bounding Box)는 중심 위치, 크기, 방향, 클래스, 잠재적으로 운동 상태까지 설명할 수 있어 객체 추적, 움직임 예측(Motion Prediction), 경로 계획 모듈로 자연스럽게 전달할 수 있다.

BEV 분할(BEV Segmentation)은 또 다른 중요한 기능을 제공한다. 시스템은 학습 목적에 따라 공간 셀을 도로, 주행 가능 표면(Drivable Surface), 차선 영역, 장애물, 식생, 보도 등의 의미 카테고리로 분류할 수 있다. 가시 픽셀을 설명하는 영상 분할(Image Segmentation)과 달리 BEV 분할은 로봇 주변의 공간을 직접 의미적으로 구성한다. 따라서 하위 모듈이 궤적 생성에 사용하는 공간 좌표계와 가까운 형태로 데이터를 제공하므로 의미 지도(Semantic Map)와 내비게이션 비용 표현(Navigation Cost Representation)을 구성하기 용이하다.

카메라 기반 BEV 인지의 중요한 장점은 밀집 능동 거리 센싱(Dense Active Range Sensing)에 의존하지 않고도 풍부한 공간 이해를 생성할 수 있다는 것이다. 카메라는 비교적 낮은 센서 비용으로 높은 해상도의 색상, 질감, 의미 정보를 제공한다. 그러나 카메라로 추론된 BEV 기하 구조는 여전히 깊이 모호성(Depth Ambiguity), 가림, 불량한 조명, 악천후, 도메인 변화(Domain Shift)에 취약하다. 따라서 출력이 미터 단위처럼 보이는 하향식 좌표계로 표현된다는 이유만으로 이를 직접적인 물리적 측정값으로 간주해서는 안 된다.

보정 민감도(Calibration Sensitivity)는 다중 카메라 BEV 시스템에서 특히 중요하다. 카메라 방향의 작은 오차도 장거리에서는 상당한 공간 위치 오차로 확대될 수 있다. 기계적 진동, 열적 영향(Thermal Effect), 카메라 교체, 장착 위치 변화는 기존에 측정된 외부 파라미터를 무효화할 수 있다. 따라서 실제 운용 로봇에서는 보정 안정성을 모니터링하고 검증 또는 재보정(Recalibration) 절차를 제공해야 한다. 현실적인 보정 오차를 포함하여 학습하면 강인성을 향상시킬 수 있지만 올바른 물리적 보정 자체의 필요성을 제거할 수는 없다.

BEV 격자의 공간 범위(Spatial Extent)와 해상도는 중요한 공학적 절충 관계(Engineering Trade-Off)를 형성한다. 넓은 영역은 로봇이 먼 객체까지 추론할 수 있게 하지만 BEV 쿼리 수와 계산량을 증가시킨다. 더 작은 크기의 셀은 높은 공간 정밀도를 제공하지만 더 많은 메모리와 처리 시간을 요구한다. 따라서 격자는 벤치마크 설정만을 기준으로 선택하기보다 플랫폼 속도, 제동 거리(Braking Distance), 카메라 커버리지(Camera Coverage), 요구 검출 거리, 계획 범위(Planning Horizon), 사용 가능한 엣지 컴퓨팅 자원을 고려하여 설계해야 한다.

다중 카메라 BEV 처리는 여러 개의 고해상도 영상 스트림을 동시에 처리해야 하기 때문에 계산량이 크다. 백본 추론, 다중 스케일 특징 저장, 어텐션 연산, 시간 특징 관리, 작업별 예측 헤드가 모두 GPU 메모리와 대역폭을 사용한다. 따라서 실시간 배포(Real-Time Deployment)에서는 영상 해상도, 카메라 수, 백본 크기, BEV 격자 크기, 수치 정밀도(Numerical Precision), 추론 런타임(Inference Runtime)을 신중하게 선택해야 한다. 버퍼링(Buffering)으로 인해 BEV 표현이 과거의 세계 상태를 나타낸다면 높은 처리량(Throughput)만으로는 충분하지 않다.

동기화(Synchronization) 역시 중요하다. 특히 로봇이나 주변 객체가 빠르게 움직일 때 여러 카메라 영상은 가능한 한 동일한 물리적 시점에 대응해야 한다. 동기화되지 않은 영상은 서로 다른 객체 위치를 나타낼 수 있으며 다중 시점 특징 집계 과정에서 오류를 발생시킨다. 하드웨어 트리거(Hardware Trigger), 정확한 타임스탬프(Timestamp), 결정론적 데이터 전송(Deterministic Transport), 알려진 시간 오프셋(Time Offset)의 보상을 통해 일관성을 향상시킬 수 있다. 시간적 BEV 아키텍처는 연속된 시간 단계 사이의 표현을 정렬하기 위해 신뢰할 수 있는 자기 운동 추정(Ego-Motion Estimation)도 필요로 한다.

센서 융합(Sensor Fusion)은 카메라 기반 BEV 인지를 더욱 강화할 수 있다. LiDAR는 직접적인 기하학적 측정값을 제공하고, 레이더(Radar)는 악천후에서도 강인한 거리 및 상대 속도 정보를 제공하며, GNSS와 관성측정장치(IMU)는 자기 운동 정보를 제공한다. 휠 오도메트리(Wheel Odometry)는 단기간의 운동 추정을 지원할 수 있다. 이러한 측정값은 아키텍처에 따라 BEV 특징 구성 이전, 구성 과정 또는 이후에 융합할 수 있으며, 공통의 하향식 좌표계는 서로 다른 센서 관측을 통합하기 위한 자연스러운 인터페이스를 제공한다.

이동 로봇과 실외 자율이동로봇(Outdoor AMR)에서 BEV 인지는 장애물 검출, 주행 가능성 분석(Traversability Analysis), 지역 지도 작성(Local Mapping), 궤적 계획, 보행자 또는 차량과의 상호작용을 지원할 수 있다. 자율주행에서는 동일한 표현으로 차선, 주변 이동 객체, 도로 경계, 동적 교통 구조를 표현할 수 있다. 실내 로봇은 복도와 작업 공간에 적합하도록 더 작고 세밀한 BEV 영역을 사용할 수 있다. 핵심 원리는 동일하며, 원근 카메라 관측을 자율 플랫폼 중심의 공간 표현으로 재구성하는 것이다.

평가(Evaluation)는 객체 검출 정확도만을 고려해서는 안 된다. 공간 위치 오차(Spatial Localization Error), 방향 오차(Orientation Error), BEV 분할 품질, 시간적 안정성, 개별 카메라 장애, 보정 민감도, 장거리 성능, 지연시간(Latency)이 실제 운용상의 유용성에 영향을 준다. 또한 다중 카메라 시스템은 일부 카메라가 가려지거나 고장난 상태에서도 제한적으로 동작할 수 있으므로 이러한 상황에서의 강인성도 평가해야 한다. 인지 품질이 어떻게 저하되는지를 이해하는 것은 진단(Diagnostics), 폴백 동작(Fallback Behavior), 안전 감독(Safety Supervision)을 설계하는 데 중요하다.

ROS2 아키텍처에서는 개별 카메라 스트림, 보정 데이터, 타임스탬프, 자기 운동 정보를 BEV 인지 노드 또는 분산 처리 파이프라인(Distributed Processing Pipeline)에 입력할 수 있다. 결과 출력에는 BEV 특징 맵, 3차원 검출 결과, 의미 격자(Semantic Grid), 점유 정보(Occupancy Information), 추적 객체(Tracked Object) 등이 포함될 수 있다. 일관된 좌표계 규칙(Coordinate Convention)과 정확한 시간 관계를 유지하면 내비게이션, 지도 작성, 객체 추적, 움직임 예측, 경로 계획 모듈이 내부 트랜스포머 구조에 직접 의존하지 않고 BEV 결과를 사용할 수 있다.

BEVFormer는 다중 카메라 인지가 개별 원근 영상 분석에서 통합된 공간 추론(Unified Spatial Reasoning)으로 발전할 수 있는 방법을 보여준다. BEV 쿼리, 기하 기반 공간 교차 어텐션(Geometry-Guided Spatial Cross-Attention), 시간 자기 어텐션, 다중 카메라 특징을 결합하여 자율 플랫폼 주변에 지속적인 하향식 표현을 생성한다. 카메라 인지(Camera Perception) 구조에서 이러한 방식은 2차원 객체 검출, 분할, 깊이 추정에서 카메라 기반 3차원 객체 검출, 시간적 장면 이해(Temporal Scene Understanding), 지도 작성, 내비게이션, 이후의 다중 센서 융합(Multi-Sensor Fusion)으로 이어지는 연결 역할을 한다.

02.06. Camera Based 3D Object Detection FCOS3D [w/Code]

카메라 기반 3차원 객체 검출(Camera-Based 3D Object Detection)은 기존의 영상 객체 검출을 확장하여 카메라 관측으로부터 객체의 위치, 물리적 크기, 방향을 3차원 공간에서 추정한다. 단순히 2차원 경계 상자(2D Bounding Box)만 반환하는 대신, 검출기는 로봇 좌표계(Robot Coordinate System)와 연결할 수 있는 3차원 표현을 예측한다. 이를 통해 카메라 인지는 내비게이션(Navigation), 객체 추적(Tracking), 충돌 회피(Collision Avoidance), 움직임 예측(Motion Prediction), 주변 객체와의 상호작용에 필요한 공간적 추론(Spatial Reasoning)을 지원할 수 있다.

핵심적인 어려움은 원근 영상(Perspective Image)이 미터 단위 깊이(Metric Depth)를 직접 포함하지 않는다는 점이다. 서로 다른 여러 3차원 구성이 유사한 2차원 투영(2D Projection)을 생성할 수 있으므로 검출기는 시각적 증거로부터 깊이와 물리적 스케일을 추론해야 한다. 원근법(Perspective), 객체의 겉보기 크기, 가림(Occlusion), 질감(Texture), 의미적 클래스(Semantic Category), 지면과의 관계, 학습된 사전정보(Learned Prior) 등이 유용한 정보를 제공한다. 따라서 카메라 기반 3차원 검출은 2차원 검출이나 직접 거리 센싱(Direct Range Sensing)보다 근본적으로 더 큰 모호성을 가진다.

3차원 경계 상자(3D Bounding Box)는 일반적으로 객체의 중심 위치(Center Position), 물리적 크기(Physical Dimensions), 방향(Orientation)을 이용하여 객체를 표현한다. 좌표계 규칙(Coordinate Convention)에 따라 중심은 카메라 또는 로봇을 기준으로 횡방향, 수직방향, 종방향 좌표로 표현할 수 있다. 크기는 일반적으로 너비, 높이, 길이를 나타내며 방향은 객체의 헤딩(Heading) 또는 요 각도(Yaw Angle)를 표현한다. 검출기 구조와 응용 분야에 따라 클래스 확률, 신뢰도, 영상에 투영된 중심점, 속도 또는 불확실성(Uncertainty)이 추가 출력으로 포함될 수 있다.

FCOS3D는 FCOS의 앵커 프리(Anchor-Free) 철학을 단안 3차원 객체 검출(Monocular 3D Object Detection)에 적용한다. 미리 정의된 2차원 또는 3차원 앵커 상자(Anchor Box)에 의존하지 않고 다중 스케일 영상 특징 맵(Multi-Scale Image Feature Map)의 위치에서 객체 특성을 직접 예측한다. 따라서 서로 다른 크기, 종횡비(Aspect Ratio), 방향, 깊이를 가진 많은 앵커를 설계하고 정합할 필요가 없다. 앵커 프리 방식은 영상 특징과 3차원 객체를 설명하는 데 필요한 파라미터 사이에 비교적 직접적인 연결을 제공한다.

처리 파이프라인은 카메라 영상을 합성곱 백본(Convolutional Backbone)과 다중 스케일 특징 피라미드(Multi-Scale Feature Pyramid)에 입력하는 단계에서 시작한다. 백본은 점차 의미적인 시각 표현을 추출하고, 특징 피라미드는 여러 공간 해상도에서 정보를 보존한다. 따라서 가까이에 있는 큰 객체와 멀리 있는 작은 객체가 서로 다른 특징 계층(Feature Level)을 활성화할 수 있다. 각 특징 맵 위치는 잠재적인 예측 지점(Prediction Point)이 되며, FCOS3D는 이 위치에서 클래스 신뢰도와 3차원 객체 후보의 여러 기하학적 속성을 추정한다.

FCOS3D는 기존의 2차원 경계 상자 중심에만 의존하는 대신 투영된 3차원 중심(Projected 3D Center)을 객체와 연결한다. 물리적 객체는 3차원 공간에 중심점을 가지며 카메라 투영(Camera Projection)은 이 중심을 영상 평면으로 매핑한다. 검출기는 특징 맵 위치와 이러한 투영 중심 사이의 관계를 나타내는 오프셋(Offset)을 학습한다. 이를 통해 밀집 앵커 프리 검출(Dense Anchor-Free Detection)의 계산적 장점을 유지하면서 깊이, 크기, 방향을 예측하기 위한 기하학적으로 의미 있는 기준점을 제공한다.

깊이 예측(Depth Prediction)은 시선 방향(Viewing Direction)의 오차가 재구성된 3차원 위치에 직접적인 영향을 주기 때문에 가장 중요한 구성요소 중 하나이다. 영상 공간에서 작은 오차라도 먼 객체에서는 큰 미터 단위 위치 오차로 이어질 수 있다. 네트워크는 객체 외형과 문맥적 단서(Contextual Cue)를 이용하여 깊이를 학습하지만 이러한 추정은 학습 데이터 분포(Training Distribution)에 의존한다. 비정상적인 크기의 객체, 익숙하지 않은 시점(Viewpoint), 심한 가림, 특정 도메인에 특화된 외형은 2차원 검출이 시각적으로 타당하더라도 잘못된 깊이 값을 생성할 수 있다.

물리적 크기(Physical Dimensions)는 3차원 정보를 추정하기 위한 또 다른 중요한 정보원이다. 객체 클래스는 일반적으로 보행자, 승용차, 트럭과 같이 통계적인 크기 규칙을 가진다. FCOS3D는 이러한 사전정보를 학습하고 영상 특징으로부터 객체의 크기를 예측할 수 있다. 그러나 클래스 수준의 사전정보(Category-Level Prior)를 직접적인 물리 측정값과 동일하게 간주해서는 안 된다. 산업용 로봇은 일반적인 자율주행 데이터셋에 포함된 객체와 상당히 다른 크기를 가진 맞춤형 카트, 기계, 컨테이너, 적재물을 관측할 수 있다.

방향 추정(Orientation Estimation)은 객체가 카메라 또는 기준 좌표계에 대해 어떻게 회전되어 있는지를 결정한다. 단안 영상에서의 방향 추정은 서로 다른 헤딩이 유사한 외형으로 나타날 수 있기 때문에 어렵고, 특히 대칭에 가까운 객체에서 이러한 문제가 두드러진다. FCOS3D는 방향 정보를 보다 안정적으로 추정할 수 있도록 방향 예측을 분해하여 처리한다. 정확한 헤딩은 차량 추적, 궤적 예측(Trajectory Prediction), 조작(Manipulation), 공간적 상호작용에서 특히 중요하다.

다중 스케일 예측(Multi-Scale Prediction)은 원근 투영으로 인해 객체의 겉보기 크기가 거리에 따라 크게 변화하기 때문에 필수적이다. 가까운 차량은 수백 개의 픽셀을 차지할 수 있지만 동일한 차량이 멀리 있으면 매우 작은 영역으로 나타난다. 특징 피라미드 네트워크(Feature Pyramid Network)는 여러 해상도를 제공하여 서로 다른 크기의 객체를 적절한 특징 계층에 할당할 수 있도록 한다. 그러나 매우 먼 객체는 영상 해상도가 제한되면서 의미적 정보와 신뢰할 수 있는 깊이 추정에 필요한 기하학적 단서가 모두 감소하므로 여전히 검출하기 어렵다.

카메라 보정(Camera Calibration)은 FCOS3D의 예측 결과를 물리적 기하 구조와 연결한다. 내부 파라미터(Intrinsic Parameter)는 픽셀과 카메라 광선(Camera Ray) 사이의 관계를 정의하고, 외부 파라미터(Extrinsic Parameter)는 위치를 카메라 좌표계에서 로봇, 차량 또는 월드 좌표계(World Coordinate System)로 변환한다. 따라서 보정은 단순한 전처리 메타데이터가 아니라 영상 기반 예측을 실제 공간 관측으로 변환하는 핵심 요소이다. 초점 거리, 카메라 방향 또는 장착 위치의 오차는 신경망 출력이 일관적이더라도 객체 위치를 체계적으로 왜곡할 수 있다.

카메라 좌표계(Camera Coordinate System)와 로봇 좌표계(Robot Coordinate System)의 차이는 하위 시스템 통합에서 중요하다. 검출기는 일반적으로 광학 카메라 좌표계(Optical Camera Frame)를 기준으로 객체 위치를 예측할 수 있지만 내비게이션과 경로 계획(Planning)은 일반적으로 로봇 본체 중심 좌표계(Body-Centered Coordinate System) 또는 지도 좌표계(Map Coordinate System)에서 동작한다. 보정된 강체 변환(Rigid Transformation)을 통해 3차원 검출 결과를 필요한 좌표계로 변환할 수 있다. 명확한 좌표 규칙을 유지하면 추적, 점유 지도(Occupancy Mapping), 충돌 평가로 전파될 수 있는 축 방향, 부호, 방향 오류를 방지할 수 있다.

FCOS3D와 BEVFormer는 모두 카메라 기반 3차원 인지를 지원하지만 개념적인 접근 방식은 다르다. FCOS3D는 주로 원근 영상 특징(Perspective Image Feature)에서 직접 3차원 객체 특성을 예측하는 반면, BEVFormer는 여러 카메라로부터 공유 조감도 표현(Bird's-Eye-View Representation)을 먼저 구성한 뒤 공간 예측을 수행한다. 단안 FCOS3D 방식은 더 적은 카메라로 적용할 수 있고 계산적으로 단순할 수 있는 반면, BEV 구조는 더 많은 계산 비용을 사용하면서 광범위한 다중 시점 문맥(Multi-View Context)과 공간적 일관성을 활용할 수 있다.

카메라 기반 3차원 검출 결과는 여러 카메라 사이에서도 결합할 수 있다. 두 개의 중첩된 시야에서 하나의 객체가 관측되면 각 카메라에서 생성된 상호 보완적인 예측을 공통 로봇 좌표계로 변환할 수 있다. 다중 카메라 연관(Multi-Camera Association)은 시점 차이와 가림을 고려하면서 여러 검출 결과가 동일한 물리적 객체를 나타내는지를 판단해야 한다. 공유 BEV 표현은 이러한 문제를 네트워크의 앞단에서 해결할 수 있으며, 검출 수준 융합(Detection-Level Fusion)은 독립적으로 생성된 3차원 객체 가설을 이후 단계에서 결합할 수 있다.

시간적 추적(Temporal Tracking)은 프레임 단위 3차원 검출 결과의 활용성을 크게 향상시킨다. 검출기는 순간적인 객체 가설을 제공하지만 추적기는 시간에 따라 객체를 연관하고 보다 부드러운 위치, 방향, 속도 상태를 추정한다. 관측되는 객체 움직임에는 객체 자체의 이동과 로봇의 자기 운동(Ego-Motion)이 함께 포함되므로 자기 운동 보상(Ego-Motion Compensation)이 필요하다. 칼만 필터링(Kalman Filtering), 학습 기반 추적(Learned Tracking) 또는 다른 상태 추정(State Estimation) 방법은 측정 잡음을 줄이고 일시적인 검출 실패나 가림 동안에도 객체 상태를 예측할 수 있다.

단안 3차원 검출은 부분 가림(Partial Occlusion)과 영상 절단(Truncation)에 특히 취약하다. 객체가 다른 차량, 기계, 식생, 시설물 뒤에 가려져 일부 영역만 보일 수 있으며 카메라 영상 경계 밖으로 일부가 벗어날 수도 있다. 네트워크는 불완전한 시각 정보로부터 전체 3차원 경계 상자를 추론해야 한다. 학습된 클래스 사전정보는 이를 지원할 수 있지만 높은 신뢰도를 가진 잘못된 기하 구조를 생성할 가능성도 있다. 따라서 시스템은 신뢰도 또는 불확실성 정보를 유지하고 모든 예측 3차원 상자를 동일하게 신뢰할 수 있는 물리적 측정값으로 해석해서는 안 된다.

카메라 기반 3차원 인지는 스테레오 깊이(Stereo Depth), LiDAR, 레이더(Radar), 학습 기반 단안 깊이(Learned Monocular Depth)와 융합하여 강화할 수 있다. 스테레오는 대응 관계(Correspondence)에서 기하학적 깊이를 제공하고, LiDAR는 직접적인 거리 측정값을 제공하며, 레이더는 거리와 상대 속도(Relative Velocity)를 제공한다. 카메라 검출은 세밀한 의미 정보와 객체 분류를 제공한다. 따라서 센서 융합(Sensor Fusion)을 통해 불확실한 카메라 기반 기하 구조를 보정하거나 제약하면서 객체를 식별하고 특성화하는 데 필요한 풍부한 시각 정보를 유지할 수 있다.

이동 로봇(Mobile Robot)에서는 3차원 검출 결과를 지역 객체 지도(Local Object Map)에 배치하여 내비게이션 모듈에 장애물의 위치, 크기, 방향을 제공할 수 있다. 실외 자율이동로봇(Outdoor AMR)은 이러한 관측을 이용하여 보행자, 차량, 장비 및 기타 구조화된 장애물을 판단할 수 있다. 자율주행에서는 검출 결과가 추적과 움직임 예측으로 전달된다. 조작 시스템은 카메라 기반 3차원 객체 가설을 더욱 정밀한 자세 추정(Pose Estimation)의 초기값으로 사용할 수 있지만, 정밀 조작에는 일반적으로 단안 검출만으로 제공되는 것보다 높은 기하학적 정확도가 필요하다.

평가(Evaluation)에서는 2차원 인식 품질과 실제 3차원 정확도를 구분해야 한다. 검출기가 영상 공간에서는 매우 정확한 경계 상자를 생성하면서도 객체를 잘못된 깊이에 배치할 수 있다. 따라서 유용한 평가 지표는 3차원 위치 추정, 중심 거리(Center Distance), 객체 크기, 방향, 서로 다른 거리 범위에서의 검출 품질을 분석해야 한다. 로봇에서는 추가적으로 시간적 안정성(Temporal Stability), 보정 민감도(Calibration Sensitivity), 작은 객체 성능, 불확실성, 도메인 변화(Domain Shift), 계획된 궤적 주변에서 잘못된 깊이 추정이 미치는 영향을 평가해야 한다.

학습 데이터(Training Data)는 모델이 객체 외형, 물리적 크기, 원근법, 거리 사이의 관계를 학습하기 때문에 단안 3차원 객체 검출 성능에 큰 영향을 준다. 카메라 높이, 초점 거리, 영상 해상도, 도로 기하 구조, 객체 분포는 데이터셋과 실제 로봇 사이에서 크게 다를 수 있다. 따라서 자동차 데이터셋에서 실내 AMR, 실외 로봇, 산업 단지, 항만, 창고 등 서로 다른 카메라 구성과 객체 클래스를 가진 환경으로 적용할 때는 미세조정(Fine-Tuning) 또는 재학습(Retraining)이 필요할 수 있다.

실시간 배포(Real-Time Deployment)에서는 영상 해상도, 백본 크기, 특징 피라미드 복잡도, 예측 헤드(Prediction Hea...