Chapter 01. Robot Perception Fundamentals

01.01. Robot Perception Pipeline Sense Represent Understand

로봇 인지(Robot Perception)는 로봇이 물리적 환경(Physical Environment)에서 획득한 신호를 자율적인 판단과 행동을 지원할 수 있는 표현(Representation)으로 변환하는 과정이다. 이를 이해하기 위한 유용한 추상화는 감지(Sense), 표현(Represent), 이해(Understand)의 세 단계로 구분하는 것이다. 이러한 단계는 이후의 위치추정(Localization), 매핑(Mapping), 내비게이션(Navigation), 조작(Manipulation), 피지컬 AI(Physical AI) 추론의 기반을 형성한다.

감지(Sense) 단계는 로봇과 물리적 세계 사이의 직접적인 연결을 형성한다. 카메라(Camera)는 가시광선 또는 적외선의 패턴을 측정하고, 라이다(LiDAR)는 반사된 레이저 에너지와 거리를 측정하며, 레이더(Radar)는 전자기파의 반사와 도플러 속도(Doppler Velocity)를 관측한다. 관성측정장치(IMU)는 가속도와 각속도를 측정하며, 힘(Force), 촉각(Tactile), 초음파(Ultrasonic), 위성항법시스템(GNSS) 등의 센서는 접촉, 근접성, 운동 및 전역 위치에 대한 인지 범위를 확장한다.

센서 측정값(Sensor Measurement)은 환경에 대한 지식 그 자체와 동일하지 않다. 카메라는 픽셀 강도(Pixel Intensity)의 배열을 생성하고, 라이다는 3차원 점으로 변환할 수 있는 거리 측정값을 생성하며, 관성측정장치(IMU)는 시간에 따라 변화하는 관성 신호를 생성한다. 각각의 측정값은 유용한 정보를 포함하지만 잡음(Noise), 바이어스(Bias), 불확실성(Uncertainty), 제한된 해상도, 가림(Occlusion), 환경 민감성도 함께 포함한다. 따라서 인지는 즉시 정확한 현실의 설명에서 시작되는 것이 아니라 측정에서 시작된다.

실제 감지 파이프라인(Sensing Pipeline)은 먼저 서로 다른 종류의 센서 스트림(Sensor Stream)을 계산 가능한 형태로 만들어야 한다. 원시 측정값(Raw Measurement)은 디코딩(Decoding), 타임스탬프(Timestamp) 부여, 보정(Calibration), 필터링(Filtering), 동기화(Synchronization)를 거쳐 일관된 좌표계(Coordinate Frame)로 변환된다. 카메라 왜곡을 보정하고, 라이다 반사점을 필터링하며, IMU 바이어스를 보상하고, 레이더 검출값에 신호처리(Signal Processing)를 적용할 수 있다. 움직이는 로봇이 여러 센서의 측정값을 결합할 때에는 정확한 시간 정보와 외부 파라미터 보정(Extrinsic Calibration)이 특히 중요하다.

표현(Represent) 단계는 처리된 측정값을 알고리즘이 효율적으로 해석할 수 있는 구조로 변환한다. 따라서 표현은 물리적 감지와 기계적 이해 사이를 연결하는 중간 언어(Intermediate Language)라고 볼 수 있다. 작업에 따라 동일한 환경도 이미지(Image), 깊이맵(Depth Map), 포인트 클라우드(Point Cloud), 복셀(Voxel), 메시(Mesh), 점유 격자(Occupancy Grid), 조감도 특징(Bird's-Eye-View Feature), 의미 지도(Semantic Map), 학습 임베딩(Learned Embedding), 장면 그래프(Scene Graph) 등으로 표현할 수 있다.

기하학적 표현(Geometric Representation)은 공간에서 표면, 장애물, 객체가 어디에 존재하는지를 나타낸다. 포인트 클라우드(Point Cloud)는 측정된 3차원 샘플을 유지하고, 복셀(Voxel) 구조는 공간을 체적 셀(Volumetric Cell)로 이산화한다. 점유 표현(Occupancy Representation)은 공간 영역이 자유 공간(Free), 점유 공간(Occupied), 미확인 공간(Unknown) 중 어느 상태인지 추정하며, 메시(Mesh)는 연결된 표면을 표현한다. 이러한 표현은 메모리 요구량, 해상도, 갱신 비용 및 후속 작업에 대한 적합성이 서로 다르므로 모든 로봇에 최적인 단일 기하학적 표현은 존재하지 않는다.

표현 과정에서는 좌표계(Coordinate System)에 대한 일관된 이해도 필요하다. 센서 측정값은 처음에는 개별 카메라, 라이다, 레이더 또는 IMU 좌표계에 존재하지만, 내비게이션(Navigation)은 일반적으로 로봇(Robot), 오도메트리(Odometry) 또는 지도(Map) 좌표계의 정보를 필요로 한다. 관측값을 이러한 좌표계 사이에서 변환하면 서로 다른 위치와 시간에 수집된 측정값으로 공통된 물리적 환경을 기술할 수 있다. 따라서 보정 또는 자세 추정(Pose Estimation)의 오차는 최종 표현의 품질에 직접적으로 전파된다.

현대의 인지(Perception)는 명시적인 기하학 정보뿐 아니라 학습된 특징 표현(Learned Feature Representation)을 점점 더 많이 사용한다. 신경망(Neural Network)은 픽셀, 포인트 클라우드, 레이더 측정값 또는 다중모달 관측(Multimodal Observation)을 객체 검출, 분할, 인식 또는 예측에 유용한 패턴을 포함하는 특징 벡터(Feature Vector)와 특징 맵(Feature Map)으로 변환한다. 이러한 표현은 수작업으로 정의하기 어려운 정보를 보존할 수 있으며 전통적인 기하학 처리보다 높은 수준의 의미론적 추론(Semantic Reasoning)을 지원할 수 있다.

이해(Understand) 단계에서는 표현된 센서 정보에 작업과 관련된 의미(Task-Relevant Meaning)를 부여한다. 객체 검출(Object Detection)은 특정 영역에 보행자, 차량, 팔레트, 도구 또는 장애물이 존재하는지를 판단할 수 있으며, 의미론적 분할(Semantic Segmentation)은 픽셀이나 점에 범주를 할당한다. 인스턴스 분할(Instance Segmentation)은 개별 객체를 구분하고, 자세 추정(Pose Estimation)은 객체의 공간적 구성을 결정하며, 추적(Tracking)은 시간에 따른 관측값을 연결한다. 장면 이해(Scene Understanding)는 이러한 결과를 객체 관계, 상황적 맥락(Context), 환경 구조에 대한 이해로 확장한다.

이해(Understanding)는 본질적으로 작업 의존적(Task-Dependent)이다. 실내 자율이동로봇(AMR)은 주행 가능 공간, 사람, 팔레트, 랙(Rack), 동적 장애물을 주로 구분해야 한다. 이동형 매니퓰레이터(Mobile Manipulator)는 여기에 객체 식별, 6자유도 자세(6DoF Pose), 파지 가능 영역(Graspable Region), 접촉 상태(Contact Condition)를 추가로 이해해야 한다. 사족보행 로봇(Quadruped)은 지형 형상과 발 디딤 위치(Foothold)가 필요하며, 무인항공기(UAV)는 장애물, 자유 공간, 깊이, 움직임 및 착륙 영역에 관한 정보가 필요하다. 따라서 필요한 인지 표현은 로봇이 수행하려는 행동에 따라 결정된다.

로봇은 정적인 단일 프레임이 아니라 동적인 환경에서 작동하기 때문에 시간 정보(Temporal Information)가 필수적이다. 하나의 관측은 객체가 어디에 나타났는지를 알려줄 수 있지만, 연속된 관측은 객체의 움직임 여부, 추정 속도, 이동 궤적, 그리고 로봇의 경로와 충돌할 가능성을 알려줄 수 있다. 추적(Tracking), 시간 특징 집계(Temporal Feature Aggregation), 광학 흐름(Optical Flow), 장면 흐름(Scene Flow), 관성 적분(Inertial Integration), 운동 추정(Motion Estimation)은 연속적인 측정값을 지속적으로 변화하는 환경 해석으로 변환한다.

다중 센서 인지(Multi-Sensor Perception)는 서로 보완적인 물리적 관측을 결합하여 환경에 대한 해석을 향상시킨다. 카메라는 풍부한 외형과 의미 정보를 제공하지만 조명과 가시성에 크게 영향을 받는다. 라이다는 직접적인 기하학적 거리 정보를 제공하고, 레이더는 강인한 거리와 방사 속도(Radial Velocity) 정보를 제공하며, IMU는 높은 주기의 운동 정보를 제공한다. 이러한 센서의 결합은 개별 센서의 약점을 줄일 수 있지만, 센서 융합(Sensor Fusion)을 위해서는 정밀한 공간 보정, 시간 동기화, 불확실성 처리 및 고장 검출(Failure Detection)이 필요하다.

따라서 완전한 인지 파이프라인(Perception Pipeline)을 원시 데이터에서 레이블(Label)로 변환되는 단순한 단방향 과정으로 이해해서는 안 된다. 정보는 원시 측정값과 기하학적 기본 요소(Geometric Primitive)에서 의미론적 객체와 장면 수준 관계(Scene-Level Relationship)에 이르기까지 여러 추상화 수준에서 동시에 존재할 수 있다. 후속 모듈은 서로 다른 수준의 정보를 직접 사용할 수 있으며, 장애물 회피는 점유 정보(Occupancy)를 사용하고, 조작은 객체 자세를 요구하며, 상위 수준의 피지컬 AI(Physical AI)는 추론을 위해 의미론적 표현 또는 학습된 표현을 사용할 수 있다.

가능한 경우 불확실성(Uncertainty)도 이러한 변환 과정과 함께 전달되어야 한다. 센서 잡음, 불완전한 관측, 모호한 분류, 가림, 보정 오차 및 도메인 변화(Domain Change)로 인해 인지 결과가 완벽하게 확실할 수는 없다. 신뢰도 점수(Confidence Score), 공분산 추정(Covariance Estimation), 확률적 점유(Probabilistic Occupancy), 다중 가설(Multiple Hypothesis), 일관성 검사(Consistency Check)를 사용하면 후속 시스템이 강한 증거와 약한 증거를 구분할 수 있다. 이러한 구분은 인지가 안전 중요 로봇 동작(Safety-Critical Robot Behavior)에 직접 관여할 때 특히 중요하다.

실시간 동작(Real-Time Operation)은 또 다른 핵심 제약 조건을 제공한다. 인지 시스템은 정보가 쓸모없어지기 전에 충분히 정확한 결과를 생성해야 한다. 고해상도 센싱과 대규모 신경망 모델은 표현의 풍부함을 향상시킬 수 있지만 계산량, 메모리 트래픽(Memory Traffic), 지연시간(Latency)도 증가시킨다. 따라서 실제 로봇은 인지 정확도만 독립적으로 최적화하는 것이 아니라 센싱 주기, 표현 복잡도, 모델 정확도, 하드웨어 성능 및 종단 간 지연시간(End-to-End Latency)의 균형을 맞춰야 한다.

감지--표현--이해(Sense--Represent--Understand) 추상화는 전통적 로보틱스(Classical Robotics)와 현대 인공지능(Modern AI)의 관계를 이해하는 데에도 유용하다. 전통적인 시스템은 명시적인 기하학 표현을 구성한 후 정의된 추정 및 인식 알고리즘을 적용하는 경우가 많다. 학습 기반 시스템(Learning-Based System)은 센서 측정값을 직접 잠재 특징(Latent Feature)과 의미론적 예측으로 변환할 수 있다. 종단간 접근법(End-to-End Approach)은 단계 사이의 명시적인 경계를 더욱 줄일 수 있지만, 감지, 내부 표현, 해석이라는 개념적 기능은 여전히 계산 과정 내부에 존재한다.

피지컬 AI(Physical AI) 시스템에서 인지의 궁극적인 목적은 단순한 관측이 아니라 행동(Action)을 지원하는 것이다. 유용한 인지 표현은 로봇이 어디로 이동할 수 있는지, 무엇을 조작할 수 있는지, 어떤 객체가 작업에 중요한지, 환경이 어떻게 변화하고 있는지, 그리고 어느 정도의 불확실성이 남아 있는지를 판단할 수 있도록 해야 한다. 따라서 인지는 3차원 장면 이해(3D Scene Understanding), 점유 및 의미 지도(Occupancy and Semantic Maps), 피지컬 AI 인지(Perception for Physical AI), 촉각 감지(Tactile Perception), 개방형 어휘 인지(Open-Vocabulary Perception)와 같은 보다 높은 수준의 기능으로 확장된다.

전체 파이프라인은 결국 물리적 증거(Physical Evidence)를 단계적으로 변환하는 과정으로 이해할 수 있다. 감지(Sense)는 현실 세계에서 측정값을 획득하고, 표현(Represent)은 그 측정값을 계산 가능한 구조로 조직하며, 이해(Understand)는 로봇의 목표와 관련된 의미를 추출한다. 신뢰할 수 있는 자율 행동은 이러한 단계들이 기하학적으로 일관되고, 시간적으로 동기화되며, 불확실성을 고려하고, 계산 효율성을 유지하면서 이후의 판단과 행동에 긴밀하게 연결될 때 가능해진다.

01.02. Perception System Architecture Modular vs End to End

로봇 인지 시스템(Robot Perception System)은 강한 모듈형 아키텍처(Modular Architecture)에서 고도로 통합된 종단간 아키텍처(End-to-End Architecture)에 이르는 연속적인 범위에서 구성될 수 있다. 모듈형 시스템은 인지를 명확한 인터페이스(Interface)를 가진 처리 단계로 분리하는 반면, 종단간 시스템은 센서 관측에서 작업 관련 출력까지의 변환 과정 중 더 많은 부분을 학습한다. 이러한 아키텍처 선택은 정보, 불확실성, 계산 자원 및 기능적 책임이 로봇 소프트웨어 스택(Robot Software Stack)에 어떻게 분배되는지를 결정한다.

전통적인 모듈형 인지 아키텍처(Modular Perception Architecture)는 시스템을 센서 전처리(Sensor Preprocessing), 보정(Calibration), 특징 추출(Feature Extraction), 객체 검출(Object Detection), 분할(Segmentation), 추적(Tracking), 센서 융합(Sensor Fusion), 장면 표현(Scene Representation), 후속 의사결정 인터페이스(Downstream Decision Interface) 등의 구성요소로 분해한다. 각 구성요소는 정의된 입력을 받아 해석 가능한 출력을 생성한다. 이러한 구조는 감지--표현--이해(Sense--Represent--Understand) 파이프라인에서 자연스럽게 이어지며, 개별 인지 기능을 독립적으로 개발하고 검증할 수 있도록 한다.

예를 들어 카메라 영상(Camera Image)은 객체 검출기(Object Detector)에 입력되기 전에 보정과 전처리를 수행할 수 있다. 라이다(LiDAR) 측정값은 독립적으로 필터링(Filtering), 복셀화(Voxelization), 지면 제거(Ground Removal), 3차원 객체 검출(3D Detection)을 수행할 수 있다. 레이더(Radar)는 거리와 속도를 추정하고, 관성측정장치(IMU) 처리는 운동 상태를 추정한다. 이후 융합 모듈(Fusion Module)은 선택된 출력들을 결합하여 추적 객체(Track), 점유 정보(Occupancy Information), 의미론적 객체(Semantic Object) 또는 내비게이션과 경로 계획에서 사용하는 다른 표현을 생성한다.

모듈형 아키텍처의 주요 장점은 관심사의 분리(Separation of Concerns)이다. 개발자는 개별 센서 모달리티(Sensor Modality)에 적합한 알고리즘을 선택할 수 있으며, 전체 인지 시스템을 다시 설계하지 않고 하나의 구성요소만 교체할 수 있다. 기존 추적 인터페이스를 유지하면서 새로운 검출기로 교체하거나, 카메라 전처리를 변경하지 않고 라이다 모델을 업그레이드할 수 있다. 따라서 안정적인 인터페이스는 점진적인 엔지니어링(Incremental Engineering)과 긴 제품 수명주기(Product Life Cycle)를 지원한다.

모듈성(Modularity)은 관측 가능성(Observability)과 디버깅(Debugging)도 향상시킨다. 인지에 문제가 발생하면 엔지니어는 보정된 영상, 필터링된 포인트 클라우드(Point Cloud), 검출 결과, 추적 결과, 변환 행렬(Transformation Matrix), 신뢰도 값(Confidence Value), 점유 지도(Occupancy Map) 등의 중간 출력을 검사할 수 있다. 이를 통해 오류가 센싱, 보정, 전처리, 추론(Inference), 융합 또는 해석 중 어디에서 발생했는지를 파악할 수 있다. 이러한 추적 가능성(Traceability)은 현장 시험(Field Testing)과 양산 시스템의 고장 분석(Production Failure Analysis)에서 특히 중요하다.

또 다른 중요한 장점은 불확실성(Uncertainty)과 고장(Failure)을 명시적으로 관리할 수 있다는 것이다. 개별 모듈은 신뢰도 점수(Confidence Score), 공분산 행렬(Covariance Matrix), 유효성 플래그(Validity Flag), 진단 상태(Diagnostic State), 시간 정보를 외부로 제공할 수 있다. 융합 구성요소는 서로 일치하지 않는 측정값을 제거하거나 성능이 저하된 센서의 영향력을 감소시킬 수 있다. 또한 충분한 중복성(Redundancy)이 존재한다면 하나의 인지 구성요소를 사용할 수 없게 되더라도 시스템은 성능 저하 모드(Degraded Capability Mode)로 계속 동작할 수 있다.

그러나 모듈형 시스템은 구성요소의 경계에서 정보를 잃을 수 있다. 객체 검출기가 풍부한 이미지 특징 맵(Feature Map)을 경계 상자(Bounding Box)로 압축한 후 융합한다면, 다른 센서 모달리티에 유용할 수 있었던 외형 정보가 사라질 수 있다. 따라서 사람이 설계한 인터페이스는 정보 병목(Information Bottleneck)을 만들 수 있다. 또한 오차는 순차적으로 전파된다. 부정확한 보정은 검출 기하학에 영향을 주고, 검출 오류는 추적에 영향을 주며, 추적 오류는 최종적으로 경로 계획과 제어에 영향을 미칠 수 있다.

종단간 인지(End-to-End Perception)는 더 큰 범위의 변환 과정을 공동으로 학습함으로써 이러한 인위적으로 정의된 경계를 줄이고자 한다. 여러 개의 중간 출력을 독립적으로 생성하는 대신, 하나의 신경망 아키텍처(Neural Architecture)가 카메라 영상, 라이다 포인트, 레이더 특징, 시간적 관측 또는 이들의 조합을 입력받아 작업 중심 표현(Task-Oriented Representation)을 직접 생성할 수 있다. 출력은 객체, 점유 정보, 궤적(Trajectory), 의미론적 특징 또는 이후의 학습 기반 구성요소에서 사용하는 잠재 표현(Latent Representation)이 될 수 있다.

공동 최적화(Joint Optimization)는 종단간 설계를 사용하는 가장 강력한 이유 중 하나이다. 여러 처리 단계가 미분 가능(Differentiable)하다면 학습 과정은 각 모듈을 독립적으로 최적화하는 대신 공통 목적 함수(Common Objective)를 기준으로 내부 표현을 최적화할 수 있다. 최종 작업에 유용한 특징이 자동으로 형성될 수 있으며, 수작업으로 정의된 중간 인터페이스에서 제거되었을 정보도 네트워크 전체에 걸쳐 유지될 수 있다.

심층 센서 융합(Deep Sensor Fusion)은 이러한 장점을 잘 보여준다. 카메라 검출과 라이다 검출을 각각 완료한 후 최종 결과를 결합하는 대신, 통합 신경망은 두 센서의 측정값을 공통 특징 공간(Shared Feature Space)으로 변환할 수 있다. 카메라의 외형 정보는 객체 수준의 판단이 이루어지기 전에 라이다의 기하학 정보를 보완할 수 있다. 이와 유사한 방식으로 시간적 관측과 조감도 특징(Bird's-Eye-View Feature)을 통합된 표현으로 집계하여 장면 이해(Scene Understanding)에 활용할 수 있다.

이러한 통합의 장점은 새로운 엔지니어링 문제를 동반한다. 내부 신경망 표현은 일반적으로 명시적인 기하학 또는 의미론적 인터페이스보다 해석 가능성(Interpretability)이 낮기 때문에 고장의 원인을 분리하기가 어렵다. 잘못된 출력은 명확하게 식별 가능한 하나의 모듈이 아니라 학습 데이터, 특징 추출, 어텐션(Attention), 융합, 시간적 문맥(Temporal Context), 최적화 과정의 상호작용으로 발생할 수 있다. 따라서 검증(Validation)은 출력 정확도뿐 아니라 다양한 운용 조건과 고장 상황에서의 강건성(Robustness)도 평가해야 한다.

종단간 시스템은 학습 데이터(Training Data)에 대한 의존성도 높다. 모듈형 기하학 알고리즘은 물리적 가정이 유지되는 환경에서는 비교적 예측 가능한 동작을 유지할 수 있지만, 학습 기반 시스템은 학습 분포(Training Distribution)를 벗어난 상황에서 예상하지 못한 동작을 보일 수 있다. 카메라, 렌즈, 라이다 구성, 장착 위치, 날씨, 조명, 환경 또는 객체 종류가 변경되면 추가적인 데이터 수집, 검증, 적응(Adaptation) 또는 재학습(Retraining)이 필요할 수 있다.

따라서 모듈형 아키텍처와 종단간 아키텍처의 차이를 절대적인 이분법(Binary Choice)으로 이해해서는 안 된다. 현대의 로봇 인지 시스템은 일반적으로 하이브리드 아키텍처(Hybrid Architecture)를 채택한다. 저수준 센서 드라이버, 타임스탬프 처리, 보정, 좌표 변환, 상태 모니터링(Health Monitoring), 안전 진단(Safety Diagnostics)은 명시적인 모듈로 유지하면서 계산량이 많은 해석 과정에는 깊게 통합된 신경망을 사용할 수 있다. 이후 학습된 출력은 전통적인 추적, 매핑, 경로 계획 및 안전 구성요소로 전달될 수 있다.

하이브리드 아키텍처는 여러 종류의 표현을 동시에 유지할 수도 있다. 신경망 기반 인지 네트워크가 의미론적 특징과 객체 가설(Object Hypothesis)을 생성하는 동안, 기하학 파이프라인(Geometric Pipeline)은 독립적으로 점유 정보 또는 자유 공간(Free Space)을 유지할 수 있다. 이를 통해 로봇은 물리적으로 해석 가능한 표현을 포기하지 않으면서 학습 기반 의미론적 능력을 활용할 수 있다. 또한 학습 기반 추정과 기하학적 추정이 서로 일치하지 않을 때 중복된 경로를 이용하여 일관성 검사(Consistency Check)를 수행할 수 있다.

적절한 아키텍처 경계(Architectural Boundary)는 로봇 플랫폼과 임무에 크게 의존한다. 산업용 자율이동로봇(AMR)은 유지보수성(Maintainability), 결정론적 인터페이스(Deterministic Interface), 진단 가능성(Diagnosability), 장기간 운용이 중요하기 때문에 모듈성이 유리한 경우가 많다. 조작 시스템(Manipulation System)은 객체의 기하학과 의미가 파지에 직접 영향을 주므로 비전과 학습된 특징을 더욱 긴밀하게 통합할 수 있다. 피지컬 AI(Physical AI) 시스템은 인지를 언어, 월드 모델(World Model), 추론(Reasoning), 행동과 연결하는 더욱 풍부한 공유 표현(Shared Representation)을 요구할 수 있다.

실시간 제약(Real-Time Constraint) 역시 아키텍처 선택에 영향을 준다. 모듈형 파이프라인은 각 구성요소를 서로 다른 주기로 동작시킬 수 있다. IMU는 매우 높은 주기로 갱신하고, 라이다 처리는 중간 수준의 주기로 수행하며, 계산량이 큰 의미론적 추론은 더 낮은 주기로 실행할 수 있다. 종단간 모델은 중복 계산을 줄일 수 있지만 하나의 대규모 추론 블록(Inference Block)을 형성하여 지연시간과 메모리 사용량을 분할하기 어렵게 만들 수 있다. 따라서 배포 아키텍처(Deployment Architecture)는 스케줄링, 가속기(Accelerator), 메모리 대역폭(Memory Bandwidth), 최악 조건 지연시간(Worst-Case Latency)을 함께 고려해야 한다.

안전 요구사항(Safety Requirement)은 선택한 아키텍처와 관계없이 명확하게 정의된 대체 동작(Fallback Behavior)을 요구한다. 고도로 통합된 학습 모델을 사용한다고 해서 모든 안전 기능까지 종단간 방식으로 구성해야 하는 것은 아니다. 독립적인 장애물 검출, 센서 상태 모니터링, 기하학적 제약(Geometric Constraint), 신뢰도 임계값(Confidence Threshold), 성능 저하 모드, 비상 정지(Emergency Stop) 기능은 학습 기반 인지 경로 외부에 유지할 수 있다. 이를 통해 성능 중심의 지능과 안전 중심의 보호 기능 사이에 아키텍처적 다양성(Architectural Diversity)을 확보할 수 있다.

결과적으로 모듈형 시스템은 투명성(Transparency), 교체 가능성(Replaceability), 검증 가능성(Verifiability), 이종 센서(Heterogeneous Sensor), 통제된 고장 처리가 주요 설계 요구사항일 때 강점을 가진다. 종단간 시스템은 풍부한 다중모달 정보(Multimodal Information)를 유지해야 하고 대규모 데이터셋을 사용할 수 있으며 공동 최적화를 통해 작업 성능을 크게 향상시킬 수 있을 때 매력적이다. 하이브리드 시스템은 엔지니어링, 운용 또는 안전 측면에서 명시적인 경계가 필요한 위치에만 인터페이스를 정의함으로써 두 접근법의 장점을 결합하려 한다.

따라서 로봇 인지의 장기적인 발전 방향은 모듈성의 소멸보다는 선택적 통합(Selective Integration)으로 설명하는 것이 더 적절하다. 학습 모델은 센싱, 공간 표현, 의미론, 시간적 추론 및 행동 관련 특징을 점점 더 긴밀하게 연결하게 될 것이지만, 명시적인 인터페이스는 하드웨어 추상화(Hardware Abstraction), 동기화, 진단, 안전 및 시스템 통합에서 계속 중요한 역할을 수행할 것이다. 어떤 정보를 해석 가능한 형태로 유지해야 하는지, 어떤 정보가 공동 학습의 이점을 얻을 수 있는지를 기준으로 아키텍처를 선택해야 한다.

궁극적으로 양산용 인지 시스템(Production Perception System)은 특정 아키텍처에 대한 선호가 아니라 완전한 로봇 기능(Complete Robot Capability)의 관점에서 평가해야 한다. 올바른 설계는 목표 운용 환경에서 필요한 정확도, 지연시간, 강건성, 진단 가능성, 유지보수성 및 안전성을 제공하는 설계이다. 따라서 모듈형, 종단간, 하이브리드 아키텍처는 동일한 목표를 달성하기 위한 서로 다른 엔지니어링 대안이며, 그 목표는 불확실한 센서 관측을 신뢰할 수 있는 정보로 변환하여 자율적인 물리적 행동(Autonomous Physical Action)을 가능하게 하는 것이다.

01.03. Spatial Representation Voxels Point Clouds Meshes

공간 표현(Spatial Representation)은 물리적 환경의 기하학적 형상과 공간 구성을 로봇이 저장하고 분석하며 행동에 활용할 수 있는 형태로 기술하는 계산 과정이다. 원시 센서 측정값(Raw Sensor Measurement)만으로는 완전한 공간 모델을 제공할 수 없다. 따라서 인지 시스템(Perception System)은 관측 정보를 포인트 클라우드(Point Cloud), 복셀(Voxel), 메시(Mesh)와 같은 구조화된 표현으로 변환하며, 각각은 3차원 공간의 서로 다른 특성을 보존한다.

공간 표현의 선택은 거의 모든 후속 인지 기능(Downstream Perception Function)에 영향을 미친다. 객체 검출(Object Detection), 충돌 검사(Collision Checking), 위치추정(Localization), 매핑(Mapping), 지형 분석(Terrain Analysis), 조작(Manipulation), 장면 이해(Scene Understanding)는 서로 다른 수준의 기하학적 정밀도, 계산 효율성, 메모리 사용량 및 갱신 속도를 요구한다. 따라서 정밀한 객체 재구성에 적합한 표현이 실시간 내비게이션에는 비효율적일 수 있으며, 압축된 내비게이션 지도는 조작에 필요한 기하학적 세부 정보를 제거할 수 있다.

포인트 클라우드(Point Cloud)는 3차원 환경을 x, y, z와 같은 좌표를 가진 이산적인 점(Discrete Point)의 집합으로 표현한다. 각 점은 관측 가능한 표면이나 검출된 구조에서 샘플링된 위치에 대응한다. 추가적인 속성으로 반사 강도(Intensity), 색상(Color), 타임스탬프(Timestamp), 표면 법선(Surface Normal), 의미론적 클래스(Semantic Class), 센서 신뢰도(Sensor Confidence) 등을 포함할 수 있다. 라이다(LiDAR)는 본질적으로 포인트 클라우드 형태의 측정값을 생성하며, 스테레오 카메라(Stereo Camera)와 깊이 카메라(Depth Camera) 역시 추정된 깊이로부터 포인트 클라우드를 생성할 수 있다.

포인트 클라우드의 주요 장점은 전체 공간을 완전히 이산화하지 않고도 측정된 기하학적 정보를 보존할 수 있다는 점이다. 관측된 점만 표현하면 되므로 넓은 빈 공간(Empty Space)은 거의 또는 전혀 저장 공간을 소비하지 않는다. 이러한 특성으로 인해 포인트 클라우드는 정확한 측정 좌표가 중요한 라이다 인지(LiDAR Perception), 3차원 객체 검출, 정합(Registration), 위치추정, 매핑 및 환경 재구성(Environmental Reconstruction)에 특히 효과적이다.

그러나 포인트 클라우드는 불규칙하고 순서가 없는 데이터 구조(Irregular and Unordered Data Structure)이다. 인접한 점들이 자동으로 연결되지 않으며, 점의 밀도(Point Density)는 거리와 관측 각도에 따라 달라지고, 센서 종류에 따라서도 샘플링 패턴이 크게 달라질 수 있다. 따라서 알고리즘이 효율적으로 상위 수준의 추론을 수행하려면 이웃 관계(Neighborhood), 공간 인덱스(Spatial Index), 필러(Pillar), 거리 영상(Range Image) 또는 학습된 포인트 특징(Learned Point Feature)을 구성해야 한다. 희소한 측정값은 표면의 많은 영역을 관측되지 않은 상태로 남길 수도 있다.

복셀 표현(Voxel Representation)은 3차원 공간을 복셀이라 불리는 이산적인 체적 셀(Volumetric Cell)로 분할함으로써 이러한 문제 중 일부를 해결한다. 하나의 복셀에는 공간의 작은 영역과 관련된 점유 상태(Occupancy), 밀도(Density), 확률(Probability), 의미론적 범주(Semantic Category), 학습 특징(Learned Feature) 또는 기타 속성을 저장할 수 있다. 개념적으로 복셀은 2차원 픽셀 격자(Pixel Grid)를 3차원으로 확장한 것으로, 구조화된 계산에 적합한 규칙적인 공간 구성을 제공한다.

규칙적인 복셀 격자(Regular Voxel Grid)는 인접한 공간 영역 사이의 관계가 예측 가능하기 때문에 이웃 연산(Neighborhood Operation)을 단순화한다. 따라서 3차원 합성곱(3D Convolution), 점유 추론(Occupancy Reasoning), 충돌 검사, 의미론적 매핑(Semantic Mapping), 체적 융합(Volumetric Fusion)을 복셀화된 데이터에서 자연스럽게 수행할 수 있다. 포인트 클라우드는 신경망 추론(Neural Network Inference) 전에 복셀로 변환되는 경우가 많으며, 복셀화(Voxelization)는 불규칙한 측정값을 구조적 또는 희소 합성곱 아키텍처(Sparse Convolutional Architecture)가 효율적으로 처리할 수 있는 표현으로 변환한다.

밀집 복셀 격자(Dense Voxel Grid)의 가장 큰 한계는 메모리 사용량 증가이다. 각 공간 축에서 복셀의 크기를 절반으로 줄이면 세 차원 모두에서 동시에 해상도가 증가하기 때문에 전체 셀의 수가 급격하게 증가할 수 있다. 따라서 넓은 환경을 높은 해상도로 표현하면 계산 비용이 매우 커진다. 이는 특히 엣지 컴퓨팅 하드웨어(Edge Computing Hardware)에서 실시간 인지를 수행하는 로봇에서 공간 정밀도와 자원 소비 사이의 근본적인 절충 관계(Trade-Off)를 만든다.

희소 복셀 구조(Sparse Voxel Structure)는 전체 3차원 공간에 메모리를 할당하는 대신 점유되었거나 중요한 셀만 저장함으로써 이러한 문제를 줄인다. 희소 텐서(Sparse Tensor), 계층적 격자(Hierarchical Grid), 옥트리(Octree) 및 관련 구조는 대부분의 물리적 환경에 상당한 빈 공간이 존재한다는 특성을 활용한다. 이러한 접근법을 사용하면 복셀 기반 표현의 계산적 장점을 상당 부분 유지하면서 더 넓은 공간을 높은 해상도로 표현할 수 있다.

복셀 크기(Voxel Size) 자체도 중요한 아키텍처 파라미터(Architectural Parameter)가 된다. 큰 복셀은 메모리 사용량을 줄이고 계산을 가속하지만 서로 가까운 기하학적 세부 정보를 하나로 합칠 수 있다. 작은 복셀은 미세한 구조를 보존하지만 처리 비용이 증가하고 측정 잡음에 더욱 민감해진다. 따라서 인지 시스템은 내비게이션을 위한 거친 점유 표현과 장애물 또는 조작 대상 주변의 정밀한 국부 기하학처럼 목적에 따라 서로 다른 해상도를 사용할 수 있다.

메시(Mesh)는 연결된 기하학적 기본 요소(Geometric Primitive)를 사용하여 표면을 명시적으로 표현하며, 가장 일반적으로 정점(Vertex), 모서리(Edge), 삼각형 면(Triangular Face)을 사용한다. 서로 분리된 샘플로 구성되는 포인트 클라우드와 달리 메시는 인접한 표면 위치 사이의 연결 관계를 표현한다. 이러한 연결성을 통해 로봇은 연결되지 않은 측정 점들의 집합보다 연속적인 표면, 객체 경계, 경사면, 지형 및 재구성된 구조물을 더욱 직접적으로 표현할 수 있다.

기반 기하학 정보가 충분히 알려져 있다면 메시는 표면을 압축적이고 시각적으로 일관된 형태로 표현할 수 있다. 표면 법선(Surface Normal), 곡률(Curvature), 텍스처 좌표(Texture Coordinate), 재질 속성(Material Property), 의미론적 레이블(Semantic Label)을 메시 요소와 연결할 수 있다. 이러한 특성으로 인해 메시는 3차원 재구성(3D Reconstruction), 디지털 트윈(Digital Twin), 조작 계획(Manipulation Planning), 시뮬레이션(Simulation), 검사(Inspection), 지형 모델링(Terrain Modeling), 그리고 표면 위상(Surface Topology)이 중요한 응용 분야에서 유용하다.

그러나 센서 관측으로부터 신뢰할 수 있는 메시를 생성하는 과정은 원시 포인트를 저장하는 것보다 복잡하다. 측정값에는 잡음, 가림(Occlusion), 누락된 영역, 움직이는 객체, 불균일한 샘플링 밀도가 포함될 수 있다. 표면 재구성(Surface Reconstruction)은 관측값 사이의 연결성을 추론하고 어떤 측정값이 동일한 물리적 표면에 속하는지를 판단해야 한다. 잘못된 가정은 구멍(Hole), 인위적인 연결, 왜곡된 표면 또는 실제 환경과 일치하지 않는 기하학적 구조를 생성할 수 있다.

따라서 포인트 클라우드, 복셀, 메시는 서로 경쟁하는 표현이 아니라 상호 보완적인 표현(Complementary Representation)으로 이해해야 한다. 인지 파이프라인은 처음에 라이다 포인트 클라우드를 입력받아 신경망 추론을 위해 희소 복셀로 변환하고, 내비게이션을 위해 확률적 복셀 점유(Probabilistic Voxel Occupancy)를 유지하며, 시각화 또는 정밀한 재구성을 위해 누적된 관측으로부터 메시를 생성할 수 있다. 각 처리 단계의 요구사항에 따라 정보가 서로 다른 표현 사이에서 변환될 수 있다.

좌표계(Coordinate Frame)는 이러한 표현들의 일관성을 유지할 수 있게 하는 기하학적 기반을 제공한다. 점, 복셀 중심(Voxel Center), 메시 정점은 정의된 센서, 로봇, 오도메트리(Odometry) 또는 지도(Map) 좌표계를 기준으로 표현되어야 한다. 로봇이 이동할 때 위치추정과 보정에서 얻은 변환(Transformation)을 이용하면 서로 다른 시간과 센서에서 수집된 관측값을 공통된 공간 기준(Common Spatial Reference)에 누적할 수 있다.

실제 환경은 정적이지 않기 때문에 시간에 따른 갱신(Temporal Update)은 추가적인 복잡성을 만든다. 이전 관측으로 구축한 표현은 사람, 차량, 문, 장비 또는 다른 객체가 이동하면 더 이상 정확하지 않을 수 있다. 인지 시스템은 지속적인 기하학(Persistent Geometry)과 동적인 관측(Dynamic Observation)을 구분하고 공간 정보를 언제 갱신하고, 감쇠(Decay)시키고, 교체하거나 제거할지를 결정해야 한다. 이는 공유 환경에서 장시간 운용되는 자율 로봇에서 특히 중요하다.

공간 표현은 기하학적 정보를 완벽하게 알려진 값으로 취급하는 대신 불확실성(Uncertainty)을 함께 포함할 수도 있다. 하나의 점은 측정 신뢰도를 포함할 수 있고, 복셀은 점유 확률(Occupancy Probability)을 저장할 수 있으며, 재구성된 표면은 반복된 관측으로부터 계산된 신뢰도를 반영할 수 있다. 불확실성을 유지하면 로봇은 확인된 자유 공간과 아직 관측되지 않은 공간을 구분할 수 있으며, 불완전한 센서 측정값이 확정적인 기하학적 지식으로 잘못 해석되는 것을 방지할 수 있다.

의미론적 정보(Semantic Information)는 순수한 기하학적 표현을 더욱 확장한다. 포인트에는 클래스 레이블(Class Label)을 부여할 수 있고, 복셀에는 의미론적 확률 또는 학습 특징을 저장할 수 있으며, 메시 표면은 객체, 재질 또는 기능적 영역(Functional Region)과 연결될 수 있다. 기하학(Geometry)이 어떤 것이 어디에 존재하는지를 설명한다면, 의미론(Semantics)은 그것이 무엇인지 또는 어떻게 사용될 수 있는지를 설명한다. 이러한 결합은 상위 수준의 장면 이해와 피지컬 AI(Physical AI)를 위한 중요한 기반을 형성한다.

로봇 플랫폼은 물리적 작업의 특성에 따라 서로 다른 표현을 강조한다. 실외 자율이동로봇(Outdoor AMR)은 장애물 검출과 주행 가능성 분석(Traversability Analysis)을 위해 포인트 클라우드와 점유 구조를 주로 활용할 수 있다. 사족보행 로봇(Quadruped)은 발 디딤 위치(Foothold)를 선택하기 위해 조밀한 국부 지형 기하학이 필요할 수 있다. 매니퓰레이터(Manipulator)는 정밀한 객체 표면과 자세 정보가 필요하며, 무인항공기(UAV)는 제한된 계산 자원으로 넓은 3차원 공간을 표현할 수 있는 희소 표현을 선호할 수 있다.

현대의 인지 아키텍처(Perception Architecture)는 하나의 공간 표현만 선택하기보다 여러 표현을 동시에 유지하는 방향으로 발전하고 있다. 원시 또는 필터링된 포인트 클라우드는 센서 관측 증거를 보존하고, 희소 복셀은 효율적인 신경망 추론을 지원하며, 점유 구조는 내비게이션을 지원하고, 메시 또는 재구성 표면은 정밀한 기하학적 추론을 지원한다. 학습된 특징 볼륨(Learned Feature Volume) 역시 이러한 구조와 함께 존재하면서 기하학만으로 표현하기 어려운 작업 중심 정보를 제공할 수 있다.

따라서 올바른 공간 표현은 로봇의 행동 요구사항(Action Requirement), 센서 구성(Sensor Configuration), 운용 공간의 규모, 지연시간 예산(Latency Budget), 사용 가능한 계산 자원에 의해 결정된다. 포인트 클라우드는 유연한 샘플 기반 기하학을 제공하고, 복셀은 구조화된 체적 추론(Volumetric Reasoning)을 제공하며, 메시는 연결된 표면 모델(Connected Surface Model)을 제공한다. 실제 양산 시스템(Production System)은 각각의 기하학적 특성과 계산적 특성이 가장 유용한 위치에서 활용될 수 있도록 이들을 함께 사용하는 경우가 많다.

공간 표현은 궁극적으로 센싱(Sensing)과 물리적 추론(Physical Reasoning)을 연결하는 다리 역할을 한다. 센서는 환경의 일부만을 단편적으로 관측하지만, 자율 로봇은 자유 공간, 장애물, 표면, 객체 및 가능한 상호작용을 판단하기 위해 구조화된 공간 지식(Spatial Knowledge)을 필요로 한다. 포인트 클라우드, 복셀, 메시 및 관련 구조를 적절하게 선택하고 결합함으로써 인지 시스템은 단편적인 측정값을 신뢰할 수 있는 자율 행동(Autonomous Action)을 지원하는 공간 모델로 변환할 수 있다.

01.04. Semantic Representations Labels Embeddings Graphs

의미론적 표현(Semantic Representation)은 관측된 개체가 무엇을 의미하는지, 서로 어떤 관계를 가지는지, 그리고 향후 행동에 어떤 의미를 가질 수 있는지를 기술함으로써 로봇 인지(Robot Perception)를 기하학적 정보 이상으로 확장한다. 공간 표현(Spatial Representation)이 표면, 장애물, 객체가 어디에 존재하는지를 표현한다면, 의미론적 표현은 이러한 구조에 개념적 의미를 부여한다. 레이블(Label), 학습된 임베딩(Learned Embedding), 그래프(Graph)는 서로 다른 추상화 수준에서 이러한 의미를 구성하는 상호 보완적인 방법을 제공한다.

의미론적 레이블(Semantic Label)은 관측 대상에 명시적인 범주 또는 속성을 할당한다. 픽셀에는 도로, 벽, 사람, 식생, 바닥 등의 레이블을 부여할 수 있으며, 포인트와 복셀(Voxel)에도 동일한 방식으로 3차원 클래스를 할당할 수 있다. 객체 수준 레이블(Object-Level Label)은 팔레트, 차량, 도구, 문, 충전 스테이션과 같은 개체를 식별한다. 레이블은 수치 형태의 센서 측정값을 후속 로봇 기능이 직접 해석할 수 있는 이산적인 개념(Discrete Concept)으로 변환한다.

레이블은 압축적이고 사람이 쉽게 해석할 수 있다는 점에서 특히 유용하다. 내비게이션 시스템(Navigation System)은 바닥, 잔디, 계단, 제한 구역에 서로 다른 비용을 할당할 수 있으며, 조작 시스템(Manipulation System)은 관측된 객체가 상자, 병, 손잡이 또는 도구인지에 따라 서로 다른 행동을 선택할 수 있다. 의미 지도(Semantic Map) 역시 복도, 적재 구역, 작업대, 저장 구역, 위험 구역과 같은 개념을 특정 공간 영역과 연결할 수 있다.

범주형 레이블(Categorical Label)의 단순성은 동시에 한계를 만든다. 고정된 클래스 어휘(Fixed Class Vocabulary)는 인지 시스템이 설계되거나 학습될 때 관련 개념이 이미 알려져 있다고 가정한다. 이러한 어휘에 포함되지 않은 객체는 잘못 분류되거나 일반적인 미확인(Unknown) 범주로 분류되거나 완전히 무시될 수 있다. 또한 레이블은 풍부한 시각적·기하학적 정보를 이산적인 기호로 압축하므로, 익숙하지 않은 개체를 추론할 때 유용할 수 있는 유사성과 속성을 제거할 가능성이 있다.

학습된 임베딩(Learned Embedding)은 보다 연속적인 의미론적 표현(Continuous Semantic Representation)을 제공한다. 신경망(Neural Network)은 이미지 영역, 객체, 포인트 집합, 언어 설명 또는 다중모달 관측(Multimodal Observation)을 학습된 특징 공간(Learned Feature Space)의 벡터로 변환한다. 개체를 하나의 이산적인 클래스 식별자로만 표현하는 대신, 임베딩은 의미적 또는 시각적으로 관련된 관측이 표현 공간에서 서로 가까운 영역에 위치하도록 하는 패턴을 인코딩한다.

이러한 연속적인 구조는 임베딩을 인식(Recognition), 검색(Retrieval), 연관(Association), 개방형 어휘 인지(Open-Vocabulary Perception)에 유용하게 만든다. 외형이 크게 다른 두 개의 의자도 픽셀 값이 상당히 다르더라도 서로 관련된 표현을 생성할 수 있다. 비전-언어 임베딩(Vision-Language Embedding)은 시각적 관측을 텍스트 개념과 연결하여, 기존의 폐쇄형 분류기(Closed-Set Classifier)에 해당 범주가 명시적으로 포함되지 않았더라도 로봇이 언어로 설명된 객체를 검색할 수 있도록 한다.

임베딩은 객체의 정체성(Object Identity) 이상의 정보를 표현할 수 있다. 학습 목적과 입력 모달리티(Input Modality)에 따라 외형, 기하학, 재질, 문맥(Context), 어포던스(Affordance), 움직임 또는 작업 관련 속성을 인코딩할 수 있다. 포인트 클라우드 특징(Point-Cloud Feature)은 국부적인 3차원 구조를 포착하고, 이미지 임베딩(Image Embedding)은 시각적 의미를 보존하며, 다중모달 특징(Multimodal Feature)은 기하학, 외형, 언어 및 시간 정보를 공유 잠재 표현(Shared Latent Representation)으로 결합할 수 있다.

임베딩의 유연성에는 낮은 해석 가능성(Interpretability)이라는 대가가 따른다. 개별 차원은 일반적으로 사람이 명확하게 정의할 수 있는 특정 개념과 직접 대응하지 않으며, 서로 유사한 벡터라고 해서 반드시 동일한 물리적 특성이나 안전한 행동을 보장하는 것도 아니다. 또한 임베딩 품질은 학습 데이터와 학습 목적에 크게 의존한다. 따라서 도메인 변화(Domain Shift), 비정상적인 관측 시점, 센서 성능 저하 또는 새로운 환경은 직접 진단하기 어려운 방식으로 특징 간 관계를 변화시킬 수 있다.

의미론적 그래프(Semantic Graph)는 개체 사이의 관계를 명시적으로 표현함으로써 또 다른 수준의 표현을 제공한다. 그래프에서 노드(Node)는 객체, 장소, 영역, 사람, 표면 또는 추상적인 개념에 대응할 수 있으며, 엣지(Edge)는 내부에 있음(Inside), 위에 있음(On), 인접함(Adjacent), 연결됨(Connected), 지지함(Supports), 가까움(Near), 접근 중임(Moving Toward), 도달 가능함(Reachable From) 등의 관계를 표현한다. 따라서 그래프는 어떤 개체가 존재하는지를 넘어 장면 안에서 개체들이 어떻게 구성되어 있는지를 설명한다.

창고를 관측하는 로봇은 통로(Aisle), 팔레트(Pallet), 랙(Rack), 지게차(Forklift), 적재 구역(Loading Zone)을 각각 노드로 구성할 수 있다. 엣지는 팔레트가 랙 옆에 있고, 랙이 통로 내부에 위치하며, 해당 통로가 적재 구역과 연결되어 있음을 나타낼 수 있다. 이러한 관계 구조(Relational Structure)는 독립적인 객체 레이블만으로는 충분히 표현하기 어려운 정보를 제공하며 작업 계획(Task Planning), 의미론적 내비게이션(Semantic Navigation), 문맥적 추론(Contextual Reasoning)을 지원할 수 있다.

장면 그래프(Scene Graph)는 의미론적 관계와 공간 속성(Spatial Attribute)을 결합할 수 있다. 각 노드는 클래스 레이블, 위치, 크기, 신뢰도, 학습된 임베딩 또는 객체 상태를 포함할 수 있으며, 엣지는 기하학적 거리, 상대 자세(Relative Pose), 상호작용 관계 또는 시간적 의존성(Temporal Dependency)을 포함할 수 있다. 이렇게 구성된 구조는 물리 공간의 계량적 표현(Metric Representation)과 상위 수준 추론 시스템이 효율적으로 처리할 수 있는 기호적 설명(Symbolic Description)을 연결한다.

그래프는 환경을 계층적(Hierarchical)으로 표현할 수도 있다. 개별 객체는 특정 영역에 속할 수 있고, 여러 영역은 방이나 구역을 형성하며, 이러한 구역들은 다시 더 큰 시설의 일부가 될 수 있다. 이러한 계층적 의미론적 표현(Hierarchical Semantic Representation)을 이용하면 로봇은 서로 다른 공간 규모에서 추론할 수 있다. 예를 들어 "정비 구역에 있는 충전 스테이션으로 이동하라"는 내비게이션 요청은 먼저 시설 수준에서 해석된 후 국부적인 기하학 내비게이션으로 세분화될 수 있다.

시간적 관계(Temporal Relationship)는 의미론적 그래프를 동적 장면 표현(Dynamic Scene Representation)으로 확장한다. 객체가 여러 프레임에 걸쳐 관측되는 동안 노드는 지속적으로 유지될 수 있으며, 관계가 변화하면 엣지도 변경될 수 있다. 사람이 차량 옆에서 차량 앞으로 이동하거나, 팔레트가 보관 상태에서 운반 상태로 변경될 수 있다. 이러한 변화를 유지하면 인지 시스템은 현재 장면뿐 아니라 시간에 따라 변화하는 상태와 상호작용까지 표현할 수 있다.

따라서 레이블, 임베딩, 그래프는 서로 배타적인 대안이 아니라 상호 보완적인 추상화 수준에서 동작한다. 하나의 장면 그래프 객체 노드는 이산적인 의미론적 레이블, 학습된 임베딩, 3차원 위치, 추정 속도 및 불확실성 값을 동시에 포함할 수 있다. 그리고 그래프의 엣지는 주변 개체와의 관계를 표현할 수 있다. 풍부한 로봇 인지는 이러한 세 가지 표현 방식을 동시에 결합하는 경우가 많다.

의미론적 표현은 공간 표현과 연결될 때 더욱 강력해진다. 의미론적 레이블은 이미지 픽셀, 포인트 클라우드 샘플, 복셀, 점유 셀(Occupancy Cell), 메시 표면(Mesh Surface)에 연결할 수 있다. 임베딩은 공간 특징 맵(Spatial Feature Map)이나 3차원 특징 볼륨(3D Feature Volume)에 저장할 수 있으며, 장면 그래프의 노드는 계량적 객체 자세(Metric Object Pose) 및 지도 영역과 연결할 수 있다. 기하학이 개체가 어디에 있는지를 설명한다면 의미론은 그것이 무엇이며 로봇의 작업과 어떤 관계가 있는지를 설명한다.

의미론적 해석은 완전히 확정적이지 않은 경우가 많으므로 불확실성(Uncertainty) 역시 중요하다. 분류 확률(Classification Probability), 임베딩 유사도 점수(Embedding Similarity Score), 객체 존재 신뢰도(Object Existence Confidence), 불확실한 그래프 관계를 가능한 한 유지해야 한다. 로봇은 확실하게 확인된 보행자와 낮은 신뢰도의 가설을 구분하고, 알려진 충전 스테이션과 의미적으로 유사해 보이는 객체를 구분할 수 있어야 한다. 이러한 불확실성은 경로 계획과 안전 관련 판단에 영향을 줄 수 있다.

개방형 집합 인지(Open-Set Perception)와 개방형 어휘 인지(Open-Vocabulary Perception)는 유연한 의미론적 표현의 중요성을 더욱 증가시킨다. 고정된 레이블은 이미 알려진 운용 범주를 효율적으로 처리할 수 있지만, 임베딩은 관측 결과를 새로운 텍스트 또는 시각적 개념과 비교할 수 있게 한다. 그래프 구조는 전체 환경 표현을 다시 설계하지 않고도 새롭게 인식된 개체를 추가할 수 있다. 이러한 결합은 이전에 관측하지 못한 객체와 상황이 존재하는 환경에서 로봇이 동작할 수 있도록 지원한다.

피지컬 AI(Physical AI)에서 의미론은 궁극적으로 인지와 행동(Action)을 연결해야 한다. 어떤 개체를 컵으로 인식하는 것도 유용하지만, 해당 컵이 파지 가능하고(Graspable), 액체를 담고 있으며, 테이블 위에 놓여 있고, 사람이 요청한 대상이라는 사실을 이해하면 행동을 결정하는 데 훨씬 풍부한 정보를 제공한다. 따라서 의미론적 표현은 기존의 객체 범주에만 제한되지 않고 어포던스, 기능적 관계(Functional Relationship), 작업 관련성(Task Relevance), 상호작용 가능성(Interaction Possibility)을 포함할 수 있다.

로봇 플랫폼마다 요구되는 의미론적 복잡성(Semantic Complexity)은 서로 다르다. 산업용 자율이동로봇(Industrial AMR)은 주로 의미론적 구역, 장애물, 사람 및 인프라 레이블이 필요할 수 있다. 매니퓰레이터(Manipulator)는 객체 식별, 자세, 구성 부품, 어포던스 및 객체 간 관계를 필요로 한다. 휴머노이드(Humanoid) 또는 범용 피지컬 AI 시스템(General-Purpose Physical AI System)은 언어 명령을 객체, 위치, 사람 및 가능한 행동과 연결할 수 있는 개방형 어휘 임베딩과 동적 장면 그래프(Dynamic Scene Graph)를 요구할 수 있다.

결과적으로 의미론적 표현은 저수준 인지(Low-Level Perception)와 상위 수준 지능(Higher-Level Intelligence)을 연결하는 다리 역할을 한다. 레이블은 명시적이고 효율적인 범주를 제공하고, 임베딩은 연속적으로 학습된 의미를 보존하며, 그래프는 개체와 그 관계를 구조화된 지식(Structured Knowledge)으로 구성한다. 이러한 표현을 공간 및 시간 표현과 결합하면 로봇은 물리적 구조를 단순히 검출하는 수준을 넘어 추론(Reasoning), 계획(Planning), 상호작용(Interaction), 자율 행동(Autonomous Action)을 지원할 수 있는 형태로 장면을 이해할 수 있다.

01.05. Perception Latency Budget for Real Time Robots

실시간 로봇 인지(Real-Time Robot Perception)는 정확도뿐만 아니라 센서 정보를 얼마나 신속하게 판단과 행동에 적합한 정보로 변환할 수 있는지에 의해서도 제약을 받는다. 너무 늦게 도착한 인지 결과는 이미 변화한 환경을 설명하고 있을 수 있다. 따라서 지연시간 예산(Latency Budgeting)은 전체 인지 파이프라인이 로봇의 응답시간 요구사항을 충족하도록 센싱, 전송, 전처리, 추론, 융합, 해석 및 통신에 허용 가능한 처리 시간을 배분하는 과정이다.

인지 지연시간(Perception Latency)은 신경망 추론(Neural-Network Inference) 시간만이 아니라 측정 획득부터 최종 출력이 사용 가능한 상태가 될 때까지 전체 구간을 기준으로 고려해야 한다. 파이프라인에는 센서 노출 또는 스캐닝, 장치 버퍼링(Device Buffering), 데이터 전송, 디코딩, 동기화, 보정, 전처리, GPU 업로드, 추론, 후처리, 센서 융합, 추적 및 메시지 발행(Message Publication)이 포함될 수 있다. 각 단계가 지연을 발생시키며 여러 개의 작은 지연이 누적되면 상당한 종단간 지연시간(End-to-End Latency)이 될 수 있다.

유용한 지연시간 예산은 로봇이 수행해야 하는 물리적 동작(Physical Behavior)에서 시작한다. 차량 속도, 제동 성능, 장애물 거리, 매니퓰레이터 움직임, 제어 주기 및 안전 여유(Safety Margin)는 인지 정보가 더 이상 유효하지 않게 되기 전까지 얼마나 오래된 정보를 허용할 수 있는지를 결정한다. 빠르게 이동하는 실외 로봇은 일반적으로 저속 창고 로봇보다 더 엄격한 응답 제약이 필요하며, 고속 조작이나 보행 로봇의 이동은 특히 빠른 국부 인지 갱신을 요구할 수 있다.

센서 획득(Sensor Acquisition)은 계산이 시작되기 전부터 피할 수 없는 지연시간을 발생시킨다. 카메라는 노출 및 판독 시간(Readout Time)이 필요할 수 있고, 회전형 라이다(Rotating LiDAR)는 하나의 스캔에 걸쳐 포인트를 수집하는 시간이 필요하며, 레이더 처리는 자체 측정 주기(Measurement Cycle)에 영향을 받는다. 센서 데이터가 하드웨어 또는 드라이버 버퍼에 일시적으로 남아 있을 수도 있으므로 완성된 센서 메시지의 타임스탬프와 해당 측정값의 각 부분이 실제 물리적으로 관측된 시간 사이에는 상당한 차이가 발생할 수 있다.

전송 지연시간(Transport Latency)은 센서 데이터가 이더넷(Ethernet), USB, MIPI, PCIe 또는 미들웨어 통신(Middleware Communication) 등의 인터페이스를 통해 이동할 때 발생한다. 대용량 카메라 프레임과 고밀도 포인트 클라우드는 상당한 대역폭을 소비할 수 있으며, 불필요한 메모리 복사(Memory Copy)는 지연시간과 프로세서 부하를 증가시킨다. 제로 카피(Zero-Copy) 전송, 직접 메모리 접근(Direct Memory Access), 효율적인 직렬화(Serialization), 적절한 처리 노드 배치는 데이터 이동량을 줄이고 실제 인지 계산에 더 많은 지연시간 예산을 확보할 수 있게 한다.

전처리(Preprocessing) 역시 지연시간 예산의 일부를 소비한다. 영상 보정(Image Rectification), 크기 조정, 정규화(Normalization), 포인트 클라우드 필터링, 복셀화(Voxelization), 레이더 신호처리, 좌표 변환 및 센서 동기화는 모두 AI 추론 이전에 수행될 수 있다. 각 연산은 개별적으로는 가벼워 보이지만 여러 센서에 대해 순차적으로 수행되면 상당한 처리 시간이 필요할 수 있다. 따라서 효율적인 구현에서는 연산을 결합하고 병렬성(Parallelism)을 활용하며 데이터 형식 사이의 반복적인 변환을 최소화한다.

신경망 추론은 가장 눈에 띄는 계산 요소인 경우가 많지만, 추론 지연시간은 단순히 모델 크기에 의해서만 결정되지 않는다. 입력 해상도, 배치 크기(Batch Size), 정밀도(Precision), 메모리 대역폭, 가속기 활용률(Accelerator Utilization), 커널 스케줄링(Kernel Scheduling), 데이터 전송 오버헤드가 모두 실행시간에 영향을 미친다. GPU, DLA, NPU와 같은 가속기는 추론 지연시간을 줄일 수 있지만 주변 파이프라인이 CPU 전처리, 동기화 또는 메모리 이동에 의해 지배된다면 전체적인 효과는 제한된다.

후처리(Postprocessing) 역시 지연시간 예산에 포함해야 한다. 객체 검출 네트워크는 출력이 실제로 사용 가능해지기 전에 디코딩, 임계값 처리(Thresholding), 비최대 억제(Non-Maximum Suppression), 좌표 변환 또는 클러스터링(Clustering)을 요구할 수 있다. 3차원 인지는 추가적인 기하학적 변환을 요구할 수 있으며, 추적과 점유 정보 생성(Occupancy Generation)도 추가적인 계산을 발생시킨다. 따라서 추론 시간만 측정하면 내비게이션, 경로 계획 또는 제어 모듈이 실제로 경험하는 지연시간을 상당히 과소평가할 수 있다.

다중 센서 융합(Multi-Sensor Fusion)은 센서들이 동일한 주기나 측정 시점에서 동작하지 않기 때문에 특별한 지연시간 문제를 발생시킨다. 완벽하게 동기화된 카메라, 라이다, 레이더, IMU 관측을 기다리면 시간적 정렬(Temporal Alignment)은 향상될 수 있지만 응답 지연은 증가할 수 있다. 반대로 가장 최근의 측정값을 사용하면 대기시간은 줄어들지만 시간적 오프셋(Temporal Offset)이 발생한다. 따라서 실제 시스템은 동기화 정확성과 정보의 최신성(Freshness) 사이에서 균형을 유지해야 하며, 추정된 자기 운동(Ego-Motion)을 이용하여 측정값을 보정할 수 있다.

지연시간과 처리량(Throughput)을 동일한 지표로 취급해서는 안 된다. 인지 시스템이 초당 30프레임을 처리하더라도 여러 프레임이 파이프라인의 큐(Queue)에 남아 있다면 영상 획득부터 출력까지 상당한 지연이 존재할 수 있다. 처리량은 일정 시간 동안 얼마나 많은 데이터를 처리할 수 있는지를 의미하지만, 지연시간은 하나의 관측값이 소비자에게 도달하는 데 걸리는 시간을 의미한다. 실시간 로보틱스(Real-Time Robotics)는 충분한 처리량과 낮은 종단간 지연시간을 모두 요구한다.

큐잉(Queueing)은 평균 처리 속도가 명확하게 감소하지 않더라도 지연시간을 증가시킬 수 있기 때문에 특히 위험하다. 센서가 인지 파이프라인이 처리할 수 있는 속도보다 빠르게 데이터를 생성하면 메시지가 누적되고 로봇은 점점 오래된 관측값을 처리하게 된다. 많은 실시간 응용에서는 모든 프레임을 보존하는 것보다 오래된 프레임(Stale Frame)을 폐기하고 가장 최근의 관측을 처리하는 것이 더 적절하다. 따라서 큐 깊이(Queue Depth)와 역압력 정책(Back-Pressure Policy)은 단순한 구현 세부사항이 아니라 아키텍처 파라미터이다.

평균 지연시간(Average Latency)만으로도 실시간 시스템을 충분히 설계할 수 없다. 대부분 빠르게 응답하지만 가끔 큰 시간 지연이 발생하는 시스템은 안전하지 않거나 불안정한 동작을 유발할 수 있다. 따라서 백분위 지연시간(Percentile Latency), 최대 관측 지연시간(Maximum Observed Latency), 최악 조건 실행 특성(Worst-Case Execution Behavior)이 중요하다. 메모리 할당, 운영체제 스케줄링, 열 스로틀링(Thermal Throttling), GPU 자원 경쟁, 로깅 및 백그라운드 프로세스는 평균 추론 시간만으로는 확인하기 어려운 지터(Jitter)를 발생시킬 수 있다.

파이프라인 병렬화(Pipeline Parallelism)는 서로 다른 단계가 서로 다른 관측값을 동시에 처리하도록 하여 성능을 향상시킬 수 있다. GPU가 하나의 프레임에 대해 추론을 수행하는 동안 CPU는 다음 센서 입력을 전처리하고 다른 스레드(Thread)는 이전 결과를 후처리할 수 있다. 이러한 방식은 자원 활용률과 처리량을 향상시키지만 지나친 버퍼링은 관측 정보의 수명(Age)을 증가시킬 수 있다. 따라서 병렬 아키텍처는 의도하지 않은 깊은 큐를 생성하지 않으면서 유휴 시간을 줄이도록 설계해야 한다.

서로 다른 인지 출력에는 서로 다른 지연시간 예산을 적용할 수 있다. 비상 장애물 검출(Emergency Obstacle Detection)은 가능한 한 최신의 정보가 필요하지만, 의미론적 분류(Semantic Classification)나 장기 지도 갱신(Long-Term Map Update)은 더 큰 지연을 허용할 수 있다. IMU 기반 운동 추정은 높은 주기로 동작하고, 객체 검출은 중간 주기로, 상세한 장면 이해는 더 낮은 주기로 동작할 수 있다. 다중 주기 아키텍처(Multi-Rate Architecture)는 계산량이 큰 의미론적 처리가 안전에 중요한 기하학적 인지를 불필요하게 지연시키는 것을 방지한다.

공간 해상도(Spatial Resolution)와 모델 복잡도(Model Complexity)는 지연시간 예산에 직접적인 영향을 준다. 높은 해상도의 영상은 작은 객체를 보존하고, 고밀도 포인트 클라우드는 기하학적 세부 정보를 유지하며, 작은 복셀은 공간 정밀도를 높이지만 모두 계산량과 메모리 트래픽을 증가시킨다. 모델 가지치기(Model Pruning), 양자화(Quantization), 저정밀도 연산(Reduced Precision), 희소 연산(Sparse Computation), 관심 영역 처리(Region-of-Interest Processing), 적응형 해상도(Adaptive Resolution)는 로봇의 현재 작업에 중요한 정보를 유지하면서 처리 시간을 줄이는 방법이 될 수 있다.

지연시간은 이기종 하드웨어(Heterogeneous Hardware)에 계산을 적절히 분배함으로써 줄일 수도 있다. CPU는 제어 중심 로직과 일부 전처리에 효과적이며, GPU는 고도의 병렬 신경망 추론에 적합하고, 전용 가속기(Dedicated Accelerator)는 특정 신경망을 효율적으로 실행할 수 있다. 최적의 설계는 이러한 장치 사이의 불필요한 데이터 전송을 최소화한다. 이론적으로 더 빠른 가속기라도 반복적인 메모리 복사나 동기화 장벽(Synchronization Barrier)이 실행 경로를 지배한다면 전체 시스템 지연시간은 오히려 악화될 수 있다.

정보 수명(Age of Information)은 시스템 수준에서 지연시간을 이해하는 데 유용한 관점을 제공한다. 경로 계획기가 장애물 위치를 전달받았을 때 중요한 것은 검출 알고리즘의 실행시간뿐 아니라 해당 정보의 기반이 되는 물리적 관측이 이루어진 이후 얼마나 많은 시간이 경과했는가이다. 센서 획득, 버퍼링, 동기화, 추론, 융합 및 통신은 모두 정보 수명에 영향을 준다. 동적 객체의 움직임으로 인해 정확했던 추정값도 시간이 지나 정보가 오래될수록 실제 상태와 점점 달라질 수 있다.

시간 예측(Temporal Prediction)은 피할 수 없는 지연시간을 부분적으로 보상할 수 있다. 추적 시스템(Tracking System)은 추정 속도나 운동 모델(Motion Model)을 이용하여 객체 상태를 측정 타임스탬프에서 현재 시점까지 전파할 수 있다. 자기 운동 보상(Ego-Motion Compensation)도 로봇의 이동량에 따라 과거 관측값을 현재 좌표계로 변환할 수 있다. 예측이 지연시간 자체를 제거하는 것은 아니며 시간이 증가할수록 예측 불확실성도 커지지만, 후속 모듈이 오래된 측정값을 그대로 사용하는 대신 예상되는 현재 상태를 기반으로 추론할 수 있게 한다.

안전 엔지니어링(Safety Engineering)은 지연시간 예산을 초과했을 때 수행할 동작을 명시적으로 정의해야 한다. 인지 시스템은 타임스탬프, 처리시간, 큐 깊이, 센서 정보의 최신성 및 출력 정보의 수명을 모니터링할 수 있다. 정보가 지나치게 오래되면 로봇은 속도를 낮추고, 안전거리를 증가시키고, 해당 인지 출력을 거부하거나, 성능 저하 센싱 모드(Degraded Sensing Mode)로 전환하거나, 정지할 수 있다. 따라서 시간적 유효성(Timing Validity)은 단순한 성능 통계가 아니라 인지 신뢰도(Perception Confidence)의 일부로 취급해야 한다.

지연시간 최적화(Latency Optimization)는 최종적으로 전체 로봇 시스템 수준에서 수행해야 한다. 검출기의 실행시간을 20밀리초에서 10밀리초로 단축하더라도 센서 버퍼링, 동기화 및 후속 통신에서 훨씬 더 많은 시간이 소비된다면 실제 효과는 제한적이다. 프로파일링(Profiling)은 물리적 측정에서 행동에 필요한 출력까지 이어지는 임계 경로(Critical Path)를 식별하고 정확도, 강건성(Robustness), 유지보수성을 보존하면서 지배적인 지연 요소를 최적화해야 한다.

잘 설계된 인지 지연시간 예산(Perception Latency Budget)은 로봇의 물리적 동역학(Physical Dynamics)과 컴퓨팅 아키텍처(Computing Architecture)를 연결한다. 센서 주기, 전처리, 신경망 추론, 융합, 통신, 스케줄링 및 안전 정책은 제한된 응답시간 범위(Response-Time Envelope) 안에서 배분된다. 목표는 단순히 가장 높은 프레임률(Frame Rate)을 달성하는 것이 아니라, 충분히 정확한 정보가 안전하고 효과적인 자율 행동(Autonomous Action)을 지원할 수 있을 만큼 최신 상태를 유지하면서 예측 가능한 시간 안에 로봇에 전달되도록 하는 것이다.

01.06. Perception Evaluation Metrics mAP IoU ATE

인지 평가(Perception Evaluation)는 로봇이 센서 데이터를 해석한 결과가 목표 작업을 수행하기에 충분한 정확성, 일관성 및 신뢰성을 갖추고 있는지를 판단하는 과정이다. 인지는 객체 검출(Object Detection), 분할(Segmentation), 위치추정(Localization), 매핑(Mapping), 추적(Tracking) 등을 포함하기 때문에 하나의 지표만으로 전체 시스템의 성능을 평가할 수 없다. 평균 정밀도 평균(mean Average Precision, mAP), 교집합 대비 합집합(Intersection over Union, IoU), 절대 궤적 오차(Absolute Trajectory Error, ATE) 등의 지표는 서로 다른 성능 특성을 정량화하며, 평가 대상 인지 기능에 따라 해석해야 한다.

객체 검출 평가는 예측된 객체(Predicted Object)를 정답 주석(Ground-Truth Annotation)과 비교하는 것에서 시작한다. 일반적으로 예측 객체의 클래스가 정확하고 해당 정답 객체와의 공간적 중첩이 정의된 임계값 이상이면 참 양성(True Positive)으로 판단한다. 유효한 대응 객체가 없는 예측은 거짓 양성(False Positive)이 되고, 검출되지 않은 정답 객체는 거짓 음성(False Negative)이 된다. 이러한 값은 정밀도(Precision), 재현율(Recall), 평균 정밀도(Average Precision)를 계산하는 기반이 된다.

정밀도(Precision)는 시스템이 보고한 검출 결과 중 얼마나 많은 결과가 정확한지를 측정하고, 재현율(Recall)은 실제로 존재하는 정답 객체 중 얼마나 많은 객체를 성공적으로 검출했는지를 측정한다. 높은 정밀도와 낮은 재현율은 잘못된 경보는 적지만 많은 객체를 놓친다는 것을 의미한다. 반대로 높은 재현율과 낮은 정밀도는 대부분의 객체를 찾지만 잘못된 검출도 많이 발생한다는 의미이다. 로봇 응용에서는 이러한 두 특성 사이의 절충(Trade-Off)을 명확하게 고려해야 한다.

객체 검출기는 하나의 고정된 판단 결과가 아니라 신뢰도 점수(Confidence Score)를 생성한다. 신뢰도 임계값을 변경하면 정밀도와 재현율 사이의 균형도 달라진다. 따라서 정밀도-재현율 곡선(Precision-Recall Curve)은 다양한 임계값에서 객체 검출기의 동작을 평가한다. 평균 정밀도(Average Precision, AP)는 특정 객체 클래스와 평가 기준에 대해 이 곡선을 요약하며, 하나의 신뢰도 임계값에서 계산한 정확도보다 더 많은 정보를 제공한다.

평균 정밀도 평균(mean Average Precision, mAP)은 여러 객체 클래스의 AP 값을 통합하며, 벤치마크에 따라 여러 공간 중첩 임계값(Overlap Threshold)에 대한 결과까지 함께 평균할 수 있다. mAP는 2차원 및 3차원 객체 검출기의 평가에 널리 사용된다. 그러나 하나의 IoU 임계값에서 계산된 mAP와 점점 엄격해지는 여러 IoU 임계값 범위에서 평균한 mAP는 동일하지 않기 때문에 정확한 평가 정의를 항상 함께 제시해야 한다.

교집합 대비 합집합(Intersection over Union, IoU)은 예측 영역과 해당 정답 영역 사이의 공간적 중첩 정도를 측정한다. 2차원 경계 상자(Bounding Box) 또는 분할 마스크(Segmentation Mask)의 경우 IoU는 두 영역의 교집합 면적을 합집합 면적으로 나눈 값이다. 1은 완벽한 중첩을 의미하고 0은 중첩이 전혀 없음을 의미한다. 동일한 개념을 3차원 경계 상자 또는 체적 영역(Volumetric Region)으로 확장할 수도 있다.

IoU는 평가 지표인 동시에 객체 대응을 결정하는 기준(Matching Criterion)으로도 사용된다. 객체 검출 평가에서는 예측 경계 상자의 IoU가 선택된 임계값을 초과할 때만 올바른 검출로 판단할 수 있다. 임계값을 높일수록 더 정확한 위치추정이 요구된다. 따라서 분류 능력이 비슷한 두 검출기라도 하나의 검출기가 객체의 경계나 위치를 더욱 정확하게 예측한다면 서로 다른 평가 점수를 받을 수 있다.

의미론적 분할(Semantic Segmentation)에서는 일반적으로 각 의미론적 클래스마다 IoU를 독립적으로 계산한다. 동일한 클래스로 예측되고 주석된 픽셀은 교집합을 형성하며, 예측 또는 정답 중 하나라도 해당 클래스에 속하는 모든 픽셀이 합집합을 형성한다. 평균 IoU(mean IoU, mIoU)는 이러한 클래스별 값을 평균하여 평가 데이터셋에 포함된 의미론적 범주 전반의 분할 품질을 간결하게 나타낸다.

분할 지표를 해석할 때는 클래스 불균형(Class Imbalance)을 고려해야 한다. 도로, 바닥, 벽, 배경처럼 넓은 영역이 픽셀 수준 정확도(Pixel-Level Accuracy)를 지배하면 작지만 중요한 객체에 대한 성능이 낮더라도 전체 점수가 높게 나타날 수 있다. 클래스별 IoU와 mIoU는 이러한 문제를 줄이고 개별 범주의 성능을 확인할 수 있도록 하지만, 안전에 중요한 클래스는 전체 평균값 안에 숨기지 않고 별도로 평가해야 한다.

위치추정과 동시적 위치추정 및 지도작성(SLAM)은 출력이 객체 범주가 아니라 궤적(Trajectory) 또는 자세(Pose)이므로 근본적으로 다른 평가 지표를 요구한다. 절대 궤적 오차(Absolute Trajectory Error, ATE)는 적절한 정렬 절차(Alignment Procedure)를 수행한 후 추정된 로봇 궤적과 기준 궤적(Reference Trajectory) 사이의 차이를 평가한다. 따라서 ATE는 누적된 전역 궤적 일관성을 측정하며 비주얼 오도메트리(Visual Odometry), 라이다 오도메트리(LiDAR Odometry), SLAM 시스템 평가에 널리 사용된다.

ATE는 일반적으로 서로 대응하는 추정 자세와 정답 자세 사이의 병진 오차(Translational Error)를 기반으로 계산하며, 평균 제곱근 오차(Root Mean Square Error, RMSE)와 같은 통계값으로 요약할 수 있다. 추정 궤적과 기준 궤적의 좌표계가 서로 다를 수 있기 때문에 비교하기 전에 정렬 과정이 필요할 수 있다. 시스템에 따라 정렬 과정에서 강체 변환(Rigid Transformation)을 보정하며, 단안 카메라 시스템(Monocular System)은 절대 스케일을 직접 관측하기 어려우므로 추가적인 스케일 정렬(Scale Alignment)이 필요할 수 있다.

ATE는 궤적의 길이와 운용 환경을 고려하지 않고 해석해서는 안 된다. 긴 실외 경로에서는 허용 가능한 오차가 정밀한 실내 도킹(Docking)이나 조작 작업에서는 허용되지 않을 수 있다. 또한 두 시스템이 비슷한 최종 ATE 값을 가지더라도 시간에 따른 오차 특성은 크게 다를 수 있다. 따라서 하나의 종합적인 수치뿐 아니라 궤적 그래프, 국부 오차(Local Error), 고장 발생 상황 및 드리프트 패턴(Drift Pattern)을 함께 평가해야 한다.

상대 자세 오차(Relative Pose Error, RPE)는 지정된 시간 또는 거리 구간에서 상대 운동(Relative Motion)의 오차를 측정함으로써 ATE를 보완한다. ATE가 전역적인 궤적 일치도를 강조한다면 RPE는 국부적인 병진 및 회전 드리프트(Translational and Rotational Drift)를 나타낸다. 따라서 위치추정 시스템은 단기적인 운동 오차가 작으면서도 상당한 전역 드리프트를 누적할 수 있으며, 반대로 전역 보정에 의해 최종 ATE는 작더라도 국부적으로 불안정한 추정값을 생성할 수 있다.

추적(Tracking)은 시간에 따라 객체의 식별자(Identity)가 일관되게 유지되어야 하므로 추가적인 평가 기준이 필요하다. 객체 검출 품질만으로는 추적기가 객체의 식별자를 반복적으로 변경하거나 객체를 놓친 후 다시 추적하는 문제를 확인할 수 없다. 따라서 추적 지표는 위치 정확도, 연관(Association), 미검출, 잘못된 추적 및 식별자 일관성을 함께 고려한다. 자율 로봇에서는 경로 계획기가 지속적으로 변화하는 객체 상태를 사용하기 때문에 시간적 안정성(Temporal Stability)이 프레임 단위의 검출 정확도만큼 중요할 수 있다.

평가 지표의 선택은 후속 물리적 작업(Downstream Physical Task)을 반영해야 한다. 높은 mAP가 작은 근거리 장애물을 놓치는 검출기의 안전한 내비게이션을 보장하지 않으며, 높은 mIoU 역시 중요한 경계 영역에서 오류가 발생한다면 유용한 주행 가능성 추정(Traversability Estimation)을 보장하지 않는다. 마찬가지로 낮은 ATE도 위치추정 결과에 짧지만 심각한 자세 점프(Pose Jump)가 존재한다면 안정적인 제어를 보장하지 않는다. 따라서 통계적 점수는 인지 오류가 실제 로봇 동작에 미치는 영향과 연결하여 평가해야 한다.

운용 조건(Operating Condition) 역시 평가 과정에서 명시적으로 반영해야 한다. 성능은 거리, 객체 크기, 속도, 조명, 날씨, 가림(Occlusion), 센서 잡음, 지형 및 환경 복잡도에 따라 변화할 수 있다. 하나의 종합 점수만 보고하면 어려운 조건에서 나타나는 심각한 약점을 숨길 수 있다. 따라서 실제 운용 로봇은 운용 설계 영역(Operational Design Domain)과 예상되는 고장 상황에 대응하는 의미 있는 하위 조건별로 평가 지표를 분석해야 한다.

불확실성(Uncertainty)과 신뢰도 보정(Confidence Calibration)은 또 다른 평가 차원을 제공한다. 이상적인 인지 시스템은 관측이 모호하거나 정상적인 운용 분포를 벗어날수록 낮은 신뢰도를 나타내야 한다. mAP가 약간 낮더라도 신뢰도가 적절하게 보정된 검출기는 잘못된 상황에서도 높은 신뢰도를 유지하는 더 정확한 모델보다 안전한 의사결정을 지원할 수 있다. 따라서 신뢰도 다이어그램(Reliability Diagram)과 보정 오차(Calibration Error)는 기존의 정확도 지표를 보완할 수 있다.

지연시간(Latency) 역시 정확도와 함께 평가해야 한다. 객체 검출기가 매우 높은 mAP를 달성하더라도 움직이는 로봇에서 사용하기에 지나치게 긴 처리시간이 필요할 수 있으며, SLAM 시스템이 정확한 궤적을 생성하더라도 필요한 제어 주기로 자세를 갱신하지 못할 수 있다. 따라서 실제적인 평가는 인지 품질과 함께 종단간 지연시간(End-to-End Latency), 갱신 주기(Update Frequency), 계산 부하, 메모리 사용량 및 목표 배포 하드웨어에서의 시간적 안정성을 함께 보고해야 한다.

벤치마크 결과(Benchmark Result)는 평가 프로토콜(Evaluation Protocol)을 재현할 수 있을 때 가장 유용하다. 데이터셋 버전, 클래스 정의, IoU 임계값, 신뢰도 처리 방법, 궤적 정렬 방식, 좌표계 규칙(Coordinate Convention), 무시 영역(Ignored Region), 평균 계산 방법을 문서화해야 한다. 평가 설정의 작은 차이도 수치 결과에 상당한 차이를 만들 수 있으므로 서로 다른 프로토콜에서 얻은 결과를 직접 비교하면 잘못된 결론을 내릴 수 있다.

따라서 완전한 로봇 인지 평가(Complete Robot Perception Evaluation)는 하나의 대표 점수를 최적화하기보다 서로 보완적인 여러 지표를 함께 사용해야 한다. mAP는 객체 검출 성능을 나타내고, IoU와 mIoU는 공간적 중첩과 분할 품질을 정량화하며, ATE 및 관련 궤적 지표는 위치추정의 일관성을 평가한다. 추적, 신뢰도 보정, 지연시간, 강건성(Robustness), 작업별 안전 지표(Task-Specific Safety Metric)는 이러한 평가를 실제 배포 요구사항으로 확장한다.

인지 평가 지표의 궁극적인 목적은 벤치마크 점수를 최대화하는 것이 아니라 로봇이 신뢰성 있게 행동할 수 있을 만큼 충분한 품질의 정보를 제공받고 있는지를 판단하는 것이다. 의미 있는 평가는 수치 지표를 운용 조건, 시간적 제약, 불확실성 및 물리적 결과와 연결한다. mAP, IoU, ATE 및 보완적인 지표를 함께 해석하면 인지 성능을 자율 로봇 설계를 위한 엔지니어링 근거(Engineering Evidence)로 변환하는 체계적인 평가 프레임워크를 구축할 수 있다.

01.07. Open Set and Closed Set Perception Trade offs

폐쇄형 집합 인지(Closed-Set Perception)는 로봇과 관련된 범주가 배포 전에 정의되고 학습 및 평가 과정에 포함되어 있다고 가정한다. 시스템은 사람, 차량, 팔레트, 랙(Rack), 문, 지게차와 같이 사전에 알려진 클래스 집합을 구분하도록 설계된다. 이러한 구성은 학습 레이블(Training Label), 모델 출력(Model Output), 평가 지표(Evaluation Metric), 후속 로봇 행동(Downstream Robot Behavior) 사이에 명확한 관계를 제공한다.

폐쇄형 집합 가정(Closed-Set Assumption)은 운용 환경이 의도적으로 제한되는 경우가 많은 산업용 로보틱스(Industrial Robotics)에서 특히 유용하다. 창고 자율이동로봇(AMR)은 사람, 팔레트, 차량, 인프라 및 몇 가지 장애물 범주만 안정적으로 인식하면 충분할 수 있다. 의미론적 어휘(Semantic Vocabulary)를 제한하면 관리 가능한 운용 핵심 개념을 중심으로 학습 데이터, 판단 임계값, 안전 규칙 및 검증 절차를 최적화할 수 있다.

폐쇄형 집합 모델은 실제 운용 조건이 학습 분포(Training Distribution)와 유사할 때 높은 정확도를 달성할 수 있다. 출력 구조를 예측할 수 있고 계산 요구량을 통제할 수 있으며, 인식된 각 클래스를 사전에 정의된 로봇 행동과 연결할 수 있다. 예를 들어 보행자가 검출되면 안전 정책(Safety Policy)을 실행하고, 충전 스테이션이 인식되면 도킹(Docking)을 시작할 수 있다. 이러한 결정론적 의미론 인터페이스(Deterministic Semantic Interface)는 경로 계획 및 제어와의 통합을 단순화한다.

근본적인 한계는 로봇이 사전에 정의된 어휘에 포함되지 않은 대상을 만날 때 나타난다. 기존 분류기(Classifier)는 일반적으로 알려진 범주 중 하나를 선택하도록 설계되므로 익숙하지 않은 객체를 가장 유사한 알려진 클래스로 분류할 수 있다. 따라서 특이한 기계, 임시 공사 구조물, 동물 또는 이전에 관측하지 못한 차량이 미확인 객체(Unknown Object)로 인식되지 않고 높은 신뢰도로 잘못된 레이블을 받을 수 있다.

개방형 집합 인지(Open-Set Perception)는 실제 운용 환경에 학습 과정에서 알려진 클래스로 포함되지 않았던 범주가 존재할 수 있다고 가정함으로써 이러한 문제를 다룬다. 시스템은 익숙한 객체를 인식하는 것뿐만 아니라 알려진 의미 공간(Known Semantic Space)에 적합하지 않은 관측도 식별해야 한다. 이에 따라 명시적인 미확인 상태(Unknown State)가 도입되며, 인지는 단순한 분류에서 인식과 신규성 검출(Novelty Detection)을 결합한 문제로 확장된다.

미확인 객체를 검출하는 것은 미확인이라는 개념 자체가 하나의 일관된 범주가 아니기 때문에 어렵다. 가능한 미관측 객체의 공간은 사실상 무한하며 학습 과정에서 이를 모두 표현할 수 없다. 따라서 인지 시스템은 신뢰도, 특징 공간 거리(Feature-Space Distance), 에너지 점수(Energy Score), 불확실성 추정(Uncertainty Estimation), 재구성 특성(Reconstruction Behavior) 또는 분포 친숙도(Distributional Familiarity)를 나타내는 다른 척도를 이용하여 관측이 학습된 클래스와 충분히 다른지를 추론해야 한다.

개방형 집합 인식(Open-Set Recognition)은 개방형 어휘 인지(Open-Vocabulary Perception)와 구분해야 한다. 개방형 집합 시스템은 주로 관측 대상이 알려진 클래스에 속하는지 아니면 미확인 대상으로 처리해야 하는지를 판단한다. 반면 개방형 어휘 시스템은 시각적 특징을 언어 임베딩(Language Embedding)과 비교하는 등의 방법을 통해 훨씬 광범위하고 변화 가능한 개념 집합을 인식하려 한다. 두 접근법은 관련되어 있지만 신규성을 식별하는 것과 새로운 대상에 의미 있는 개념을 부여하는 것은 서로 다른 문제이다.

학습된 임베딩(Learned Embedding)은 경직된 클래스 경계를 넘어가기 위한 중요한 방법을 제공한다. 모든 관측을 즉시 하나의 범주형 레이블로 축소하는 대신, 모델은 시각적·기하학적 또는 다중모달 특성(Multimodal Characteristic)을 설명하는 특징 벡터(Feature Vector)를 유지할 수 있다. 새로운 관측은 알려진 예제나 텍스트 개념과 비교될 수 있으며, 이를 통해 기존 분류기에 명시적인 출력 클래스가 존재하지 않더라도 의미론적 유사성 추론(Semantic Similarity Reasoning)을 수행할 수 있다.

비전-언어 모델(Vision-Language Model)은 센서 관측과 자연어 설명을 연결함으로써 이러한 능력을 더욱 확장한다. 로봇은 기존 분류기 설계 단계에서 각각의 용어에 전용 출력 뉴런(Output Neuron)을 정의하지 않았더라도 관측된 객체를 "교통 콘(Traffic Cone)", "쓰러진 나뭇가지(Fallen Branch)", "이동식 차단막(Portable Barrier)"과 같은 개념과 비교할 수 있다. 이러한 유연성은 사전에 모든 환경 요소를 완전히 열거할 수 없는 환경에서 동작하는 범용 로봇에 특히 유용하다.

그러나 의미론적 유연성(Semantic Flexibility)이 증가하면 모호성(Ambiguity)도 함께 증가한다. 폐쇄형 집합 분류는 소수의 운용 범주에 맞춰 최적화할 수 있지만, 개방형 집합 및 개방형 어휘 시스템은 훨씬 광범위한 가능성을 구분해야 한다. 서로 유사한 객체, 특이한 관측 시점, 낮은 조도, 가림(Occlusion), 센서 잡음 또는 도메인 변화(Domain Shift)는 잘못된 신규성 판단이나 부정확한 의미론적 대응을 발생시킬 수 있다. 따라서 어휘 범위를 확장한다고 해서 인지의 신뢰성이 자동으로 향상되는 것은 아니다.

거짓 거부(False Rejection)와 거짓 수용(False Acceptance)은 개방형 집합 시스템에서 중요한 절충 관계를 형성한다. 미확인 검출 임계값이 지나치게 엄격하면 익숙한 객체까지 미확인 대상으로 자주 거부되어 작업 성능이 저하될 수 있다. 반대로 지나치게 관대하면 익숙하지 않은 객체가 알려진 클래스에 잘못 포함될 수 있다. 적절한 임계값은 각 오류가 초래하는 결과에 따라 달라지며 의미론적 상호작용, 내비게이션, 조작 및 안전 중요 인지(Safety-Critical Perception)에서 서로 다르게 설정될 수 있다.

안전 측면에서는 미확인 상태를 유지해야 할 중요한 이유가 존재한다. 로봇은 익숙하지 않은 객체에 안전하게 대응하기 전에 그것이 정확히 무엇인지 반드시 알아야 하는 것은 아니다. 내비게이션에서는 인식되지 않은 물리적 구조물이 예정된 경로를 점유하고 있다는 사실만 검출해도 충돌을 피하는 데 충분할 수 있다. 따라서 기하학(Geometry)과 점유 정보(Occupancy)는 의미론적 분류와 독립적인 안전 계층(Safety Layer)을 제공하여 객체의 정체성이 불확실하더라도 미확인 객체를 물리적으로 중요한 대상으로 유지할 수 있다.

이러한 분리는 실제 로봇을 위한 하이브리드 아키텍처(Hybrid Architecture)를 제안한다. 검증된 폐쇄형 집합 검출기(Closed-Set Detector)는 운용상 중요한 클래스를 처리하고, 기하학적 인지(Geometric Perception)는 객체의 정체성과 관계없이 장애물을 검출하며, 개방형 집합 또는 개방형 어휘 하위 시스템은 보다 광범위한 의미론적 해석을 제공할 수 있다. 이를 통해 로봇은 안전 기능에는 충분히 검증된 출력을 사용하면서 추론, 상호작용 및 적응에는 유연한 인식 능력을 활용할 수 있다.

이러한 하이브리드 시스템에서는 신뢰도 보정(Confidence Calibration)이 특히 중요하다. 모델은 단순히 클래스 이름을 출력하는 데 그치지 않고 관측이 해당 해석을 얼마나 강하게 지지하는지도 나타내야 한다. 높은 신뢰도는 높은 정답 확률과 대응해야 하며, 모호하거나 익숙하지 않은 입력에서는 신뢰도가 낮아져야 한다. 신뢰도 보정이 잘못된 모델은 경험 범위를 벗어난 관측에 대해서도 확신에 찬 의미론적 레이블을 생성할 수 있기 때문에 특히 위험할 수 있다.

시간적 일관성(Temporal Consistency)은 개방형 집합 추론을 향상시킬 수 있다. 하나의 프레임에서는 객체가 모호하게 보일 수 있지만 서로 다른 관측 각도와 거리에서 누적된 관측은 해당 객체가 알려진 범주에 속하는지 판단하는 데 더 강한 근거를 제공할 수 있다. 추적(Tracking)은 새로운 측정값이 들어오는 동안 객체의 식별자를 유지하여 하나의 관측으로 되돌릴 수 없는 분류를 즉시 결정하는 대신 시간에 따라 의미론적 가설과 불확실성을 갱신할 수 있도록 한다.

다중 센서 인지(Multi-Sensor Perception)는 또 다른 판단 근거를 제공한다. 시각적으로 익숙하지 않은 외형을 가진 객체도 라이다 데이터에서는 명확한 3차원 기하학을 가질 수 있으며, 레이더는 운동 정보를 제공하고 카메라는 의미론적 외형 정보를 제공할 수 있다. 이러한 모달리티를 결합하면 존재, 위치, 운동 및 정체성에 대한 문제를 서로 분리할 수 있다. 따라서 로봇은 의미론적 해석이 해결되지 않은 상태에서도 미확인 객체에 대한 신뢰할 수 있는 물리적 모델을 유지할 수 있다.

개방형 집합 인지의 평가는 기존의 폐쇄형 집합 정확도나 mAP만으로는 충분하지 않다. 시스템은 알려진 클래스에 대한 성능을 유지하면서 미확인 관측을 검출하는 능력을 함께 평가해야 한다. 따라서 시험 데이터셋에는 익숙한 범주와 익숙하지 않은 범주가 모두 포함되어야 하며, 평가 과정에서는 미확인 객체의 잘못된 수용, 알려진 객체의 잘못된 거부, 신뢰도 특성 및 신규성 검출이 후속 로봇 판단에 미치는 영향을 함께 분석해야 한다.

운용 설계 영역(Operational Design Domain)은 적절한 균형을 결정하는 데 큰 영향을 미친다. 고도로 구조화된 제조 셀(Manufacturing Cell)은 환경, 객체 및 작업이 엄격하게 통제되고 광범위한 검증이 가능하기 때문에 폐쇄형 집합 인지가 유리할 수 있다. 반면 실외 서비스 로봇, 휴머노이드(Humanoid), 범용 피지컬 AI(General-Purpose Physical AI) 시스템은 훨씬 다양한 환경을 경험하므로 개방형 집합 및 개방형 어휘 능력에서 더 큰 이점을 얻을 수 있다.

계산 비용(Computational Cost) 역시 접근법에 따라 달라진다. 소형 폐쇄형 집합 검출기는 엣지 하드웨어(Edge Hardware)에서 예측 가능한 저지연 추론을 제공할 수 있지만, 대규모 다중모달 임베딩 모델(Multimodal Embedding Model)은 훨씬 많은 메모리와 계산 자원을 요구할 수 있다. 따라서 광범위한 의미론적 추론은 안전 중요 인지보다 낮은 주기로 동작할 수 있다. 다중 주기 아키텍처(Multi-Rate Architecture)는 빠른 기하학적·폐쇄형 집합 처리와 느리지만 풍부한 개방형 환경 해석을 함께 운용할 수 있도록 한다.

결과적으로 핵심적인 엔지니어링 절충 관계(Engineering Trade-Off)는 전문화(Specialization)와 유연성(Flexibility) 사이에 존재한다. 폐쇄형 집합 인지는 통제된 의미 체계, 효율적인 계산, 명확한 검증, 알려진 조건에서의 높은 성능을 제공한다. 개방형 집합 인지는 신규성을 명시적으로 처리하는 기능을 추가하며, 개방형 어휘 방식은 이전에 지정되지 않았던 개념까지 인식 범위를 확장한다. 그러나 유연성이 증가할수록 추가적인 불확실성, 계산 비용 및 검증 복잡성도 함께 증가한다.

피지컬 AI(Physical AI)에서 ...