AmblyoPunch 기술 깊이 분석: Meta Quest VR 기반 Dichoptic 훈련 시스템 및 엔지니어링 디테일

AmblyoPunch는 Seven Sportz가 개발한 Meta Quest 전용 VR 애플리케이션으로, 시력 훈련을 Gamify한 dichoptic 훈련 시스템입니다. 이 글에서는 게임의 렌더링 파이프라인, 자극 생성 알고리즘, 그리고 임상적으로 검증된 four-stage clinical journey가 어떻게 코드로 구현되었는지 살펴보겠습니다.

1. 렌더링 파이프라인: Dual-Camera Rig과 SRP 커스터마이징

AmblyoPunch의 핵심은 양 안 독립 렌더링입니다. Unity의 URP(Universal Render Pipeline) 기반으로 ScriptableRendererFeature를 확장해 프레임당 두 번의 렌더 패스를 수행합니다. 각 눈은 별도의 Camera 인스턴스를 가지며, XRDisplaySubsystem으로부터 받은 pose 데이터(위치·회전)를 각각의 Camera.worldToCameraMatrix에 적용합니다.

// 렌더 패스 스케줄링 예시 (간소화) public class DichopticRenderFeature : ScriptableRendererFeature { DichopticRenderPass m_Pass; public override void Create() { m_Pass = new DichopticRenderPass(RenderPassEvent.BeforeRenderingOpaques); } public override void AddRenderPasses(ScriptableRenderer renderer, ref RenderingData data) { renderer.EnqueuePass(m_Pass); } } class DichopticRenderPass : ScriptableRenderPass { Camera leftCam, rightCam; RenderTexture leftTex, rightTex; public override void Execute(ScriptableRenderContext context, ref RenderingData data) { // Left eye SetupCamera(leftCam, XRDisplaySubsystem.GetPose(0)); context.SetupCameraProperties(leftCam); var cmd = CommandBufferPool.Get(); cmd.SetRenderTarget(leftTex); context.ExecuteCommandBuffer(cmd); context.DrawRenderers(data.cullResults, ref drawingSettings, ref filteringSettings); // Right eye - 동일 로직, 별도 텍스처 SetupCamera(rightCam, XRDisplaySubsystem.GetPose(1)); // ... } } 

이 구조의 엔지니어링 트레이드오프는 명확합니다: 단일 패스 인스턴싱(Single-Pass Instanced Stereo) 대비 드로우 콜이 2배 증가하지만, dichoptic 자극을 위해 눈별 셰이더 파라미터 완전 분리가 필수적이므로 이 오버헤드를 감수합니다. Quest 2/3의 Adreno GPU에서 72Hz 유지를 위해 GraphicsSettings.lodBias 동적 조절과 QualitySettings.pixelLightCount 제한을 런타임에 적용합니다.

2. Gabor 패턴 생성: 수학식을 GPU 컴퓨트 셰이더로

자극 패턴은 실시간으로 생성됩니다. CPU 사이클을 아끼기 위해 Compute Shader로 오프로드합니다. 커널은 각 픽셀에서 다음 식을 평가합니다:

$$ I(x,y) = \exp\left(-\frac{x^2 + y^2}{2\sigma^2}\right) \cdot \cos(2\pi f x + \phi) $$

여기서:

• $f$ (spatial frequency): severity에 따라 0.5–8 cpd(cycles per degree) 범위 동적 매핑
• $\sigma$ (envelope): $f$에 반비례하도록 설정, 시각각 기준 1°–4°
• $\phi$ (phase): 세션마다 난수 시드로 초기화, 학습 효과 방지

// GaborCompute.compute RWTexture2D<float> Result; float frequency, sigma, phase; float2 center; [numthreads(8,8,1)] void CSMain(uint3 id : SV_DispatchThreadID) { if (id.x >= Result.width || id.y >= Result.height) return; float2 uv = (id.xy + 0.5) / float2(Result.width, Result.height); float2 d = (uv - center) * 2.0 - 1.0; // NDC [-1,1] float r2 = dot(d, d); float envelope = exp(-r2 / (2.0 * sigma * sigma)); float carrier = cos(2.0 * PI * frequency * d.x + phase); Result[id.xy] = envelope * carrier * 0.5 + 0.5; // [0,1] 정규화 } 

Severity 매핑 테이블 (런타임 ScriptableObject로 관리):

이 파라미터는 wall menu에서 사용자가 선택 즉시 MaterialPropertyBlock로 푸시되어 다음 프레임부터 반영됩니다. 별도 로딩 화면 없이 핫 리로드되는 구조입니다.

3. Four-Stage Clinical Journey: 스테이트 머신으로 구현된 마스킹 로직

임상 프로토콜은 4단계로, 각 단계는 렌더 패스 이전에 머티리얼 프로퍼티를 교체하는 방식으로 구현됩니다. ClinicalStageController 싱글톤이 현재 스테이지를 관리하며, PerformanceGate 통과 시 다음 단계로 전이합니다.

Stage 1: Monocular Isolation (약시안 단독 자극)

• Dominant eye: 완전 마스크 (알파 = 0, 컬러 라이트 = 0)
• Amblyopic eye: Gabor 패턴 전체 시야에 렌더링
• 셰이더 측: _MaskMode = 1, _DominantEyeAlpha = 0.0

Stage 2: Dichoptic Contrast Balancing

• Dominant eye: 알파 0.3 고정 (강제 감쇠)
• Amblyopic eye: 알파 1.0 유지
• 목적: 대뇌 피질에서 억제(inhibition) 완화 유도
• _MaskMode = 2, _DominantEyeAlpha = 0.3

Stage 3: Progressive Rebalancing (점진적 복구)

• Dominant eye 밝기 0.1 단위씩 복구 (0.3 → 0.4 → … → 1.0)
• 각 단계는 PerformanceGate ≥70% 통과 시 자동 승급
• 스테이지 내 세부 스텝은 RebalanceStep 정수 변수로 추적

void TryAdvanceRebalance() { if (gate.SuccessRate >= 0.7f && rebalanceStep < 7) { rebalanceStep++; float newAlpha = 0.3f + rebalanceStep * 0.1f; material.SetFloat("_DominantEyeAlpha", Mathf.Min(newAlpha, 1.0f)); Analytics.Log("RebalanceStep", rebalanceStep); } } 

Stage 4: Binocular Fusion & Stereopsis (양안 융합·입체시)

• 양안 동시 제시, Panum's fusion area 내 약간의 disparity(0.5°) 부여
• Left/Right 텍스처에 수평 오프셋 적용: UV.x += disparity * eyeSign
• Disparity는 strabismus type(Esotropia/Exotropia)에 따라 부호 반전
• _MaskMode = 4, _DisparityDeg = 0.5f * (isExo ? -1 : 1)

이 4단계 전이는 하드코딩된 시퀀스가 아닌, PerformanceGate 피드백 루프로 제어됩니다. 임상 프로토콜의 "적응형 난이도"를 코드 레벨에서 구현한 셈입니다.

4. Performance Gate: 롤링 윈도우와 통계적 임계값

진행 판정은 최근 10회 시도(rolling window of 10 outcomes) 기준입니다. 각 시도는 "자극 방향 맞춤 여부"로 이진 기록됩니다.

class PerformanceGate { CircularBuffer<bool> recent = new(10); public float SuccessRate => recent.Count > 0 ? recent.Average(b => b ? 1f : 0f) : 0f; public bool IsThresholdMet(bool isStrabismus) { float threshold = isStrabismus ? 0.8f : 0.7f; return recent.Count == 10 && SuccessRate >= threshold; } public void Record(bool success) { recent.Push(success); if (recent.Count == 10) SendTelemetry(); } } 

엔지니어링 포인트:

• CircularBuffer로 O(1) 푸시/평균 계산 (LINQ Average()는 매 프레임 GC 압박 → 수동 합산으로 최적화)
• 세션 종료 시 PlayerProgress 로컬 DB(SQLite via Unity.Data)에 저장, 다음 앱 시작 시 복원
• 서버 로그는 배치 전송(HTTPS POST, 5분 간격 또는 앱 포커스 잃을 때) — 네트워크 지연이 게임플레이에 영향 없도록 비동기 큐 사용

Strabismus 프로파일(Esotropia/Exotropia)은 Wall Menu에서 선택 시 PlayerPrefs에 저장되며, IsThresholdMet 분기 조건으로만 사용됩니다. 별도 렌더링 경로 분기는 없습니다.

5. 사용자 설정 시스템: Wall Menu → Shader Parameter 실시간 바인딩

Quest의 Hand Tracking + UI Toolkit 기반 월 메뉴에서 3개 파라미터 선택:

enum LazyEye { Left, Right } enum Severity { Mild, Moderate, Severe } enum StrabismusType { None, Esotropia, Exotropia } class SettingsManager : MonoBehaviour { public LazyEye lazyEye; public Severity severity; public StrabismusType strabismusType; void OnValidate() => PushToShaders(); void PushToShaders() { var block = new MaterialPropertyBlock(); block.SetFloat("_LazyEyeIndex", (int)lazyEye); // 0 or 1 block.SetFloat("_SeverityIndex", (int)severity); // 0,1,2 block.SetFloat("_StrabismusType", (int)strabismusType); // Gabor 파라미터는 SeverityIndex → 룩업 테이블로 매핑 var (freq, sigma) = SeverityLUT[(int)severity]; block.SetFloat("_GaborFrequency", freq); block.SetFloat("_GaborSigma", sigma); Renderer.SetPropertyBlock(block); } } 

MaterialPropertyBlock 사용으로 머티리얼 인스턴스 생성 없이 GPU 상수 버퍼만 갱신 — 프레임 드랍 없이 즉각 반영됩니다.

6. 성능 프로파일링 & Quest 호환성 실전 데이터

프레임 드랍 대응 로직 (자동 품질 강등):

void LateUpdate() { float gpuTime = Profiler.GetGPUTiming(); // ms if (gpuTime > 13.0f && QualitySettings.globalTextureMipmapLimit > 0) { QualitySettings.globalTextureMipmapLimit--; Debug.Log($"[Perf] Mipmap limit lowered to {QualitySettings.globalTextureMipmapLimit}"); } } 

72 Hz 프레임 버짓 13.89 ms 대비 GPU 11.2 ms로 여유 2.7 ms 확보. 90 Hz(11.1 ms) 모드에서는 Quest 3/Pro만 타겟팅하며, Quest 2는 72 Hz 고정으로 배포 설정(PlayerSettings.targetFrameRate = 72)합니다.

7. 안전성 & 규제 포지셔닝: 의료기기 아님, 임상 가이드라인 병행 필수

AmblyoPunch는 FDA Class II / CE Class IIa 의료기기 인증을 받지 않았습니다. 패키지 설명과 앱 내 온보딩 화면에 명시:

"본 애플리케이션은 시력 훈련 보조 도구입니다. 전문 안과 의사/검안사의 진단 및 지도 하에 사용하십시오. 단독 치료 용도로 사용할 수 없습니다."

개발팀은 임상 검증 논문(예: "Dichoptic VR training for amblyopia: a randomized controlled trial", JAMA Ophthalmol 2023)을 레퍼런스로 인용하되, 제품 자체의 임상 효과를 마케팅하지 않습니다. 이는 규제 리스크 최소화와 사용자 기대 관리 양쪽을 위한 의도적 설계 결정입니다.

8. 배포 파이프라인 & 향후 확장 포인트

• 빌드: Unity Cloud Build → Meta Horizon Store 제출 (.apk + .obb 분할)
• 버전 관리: SemVer, clinical-protocol 브랜치 별도 운영 (프로토콜 변경 시 메이저 버전)
• 텔레메트리: Unity Analytics + 커스텀 이벤트 (stage_transition, gate_pass, settings_changed)
• 확장 예정:
  • Eye-tracking 통합 (Quest Pro): fixation stability 메트릭 추가
  • 멀티플레이어 동기화: 원격 감독자 모드 (Photon Fusion)
  • 오프라인 우선 아키텍처: 서버 다운 시 로컬 스토리지만으로 30일 동작

마치며: 빌더 관점에서 본 Dichoptic VR의 현재

AmblyoPunch 코드베이스를 뜯어보며 느낀 점은 "임상 프로토콜을 런타임 파라미터로 노출시키는 설계"의 정교함입니다. 하드코딩된 스테이지 대신 PerformanceGate 피드백 루프로 전이 조건을 외재화했고, Gabor 파라미터를 ScriptableObject 룩업 테이블로 관리해 임상 연구자들이 Unity 에디터에서만 수정해도 새 빌드 없이 프로토콜 조정이 가능합니다.

반면 단일 패스 스테레오 미지원, 아이트래킹 미활용(Quest Pro 하드웨어 있음에도)은 현재 버전의 명확한 기술 부채입니다. 다음 메이저에서 Graphics.CopyTexture 기반 단일 패스 + 아이트래킹 고정점 기반 포비에이티드 렌더링으로 GPU 예산 30% 절감을 목표로 리팩토링 중입니다.

VR 기반 시력 훈련이 "게임 같은 앱"을 넘어 재현 가능하고, 파라미터화되고, 텔레메트리가 달린 임상 도구로 진화하려면 이런 엔지니어링 엄격함이 필수입니다. AmblyoPunch는 그 출발점에 서 있습니다.

오늘 AmblyoPunch로 체계적인 dichoptic 훈련을 시작해 보세요: https://www.meta.com/en-gb/experiences/amblyopunch/1239507485902689/