STATERA Library · Volume 42 · Chapter 06 · KR
Source: https://github.com/Statera-Library/01_Vol_42_AI_Safety_Alignment_and_Interpretability/blob/main/Chapter_06_Governance_and_Societal_Impact/Chapter_06_Governance_and_Societal_Impact_KR.md

Volume 42. AI Safety Alignment and Interpretability

06. Governance and Societal Impact

06.00 Overview

인공지능 거버넌스(AI Governance)는 인공지능 시스템(AI Systems)을 책임 있게 개발하고 배포하기 위해 필요한 제도적(Institutional), 기술적(Technical), 조직적(Organizational) 메커니즘을 확립한다. 지능형 기술(Intelligent Technologies)이 경제 활동, 공공 서비스(Public Services), 물리적 환경(Physical Environments)에 점점 더 큰 영향을 미치면서, 거버넌스는 인공지능 전체 생명주기(AI Lifecycle)에 걸쳐 안전성(Safety), 책임성(Accountability), 투명성(Transparency), 공정성(Fairness), 인간 감독(Human Oversight)을 다루어야 한다.

인공지능의 사회적 영향(Societal Impact)은 알고리즘 성능(Algorithmic Performance)과 계산 효율성(Computational Efficiency)을 넘어선다. 인공지능 시스템은 고용, 교육, 의료, 교통, 공공 행정, 필수 서비스 접근성에 영향을 미친다. 이러한 시스템의 도입은 생산성과 접근성을 향상시킬 수 있지만, 차별(Discrimination), 감시(Surveillance), 경제적 불평등(Economic Inequality), 제도적 의존성(Institutional Dependence), 의도하지 않은 결과(Unintended Consequences)와 관련된 위험도 발생시킬 수 있다.

효과적인 인공지능 거버넌스(Effective AI Governance)를 위해서는 개발자(Developers), 시스템 통합자(System Integrators), 운영자(Operators), 규제기관(Regulators), 연구자(Researchers), 영향을 받는 공동체(Affected Communities) 간의 협력이 필요하다. 각 이해관계자(Stakeholder)는 기술적 검증(Technical Validation), 규제 준수(Regulatory Compliance), 운영 모니터링(Operational Monitoring), 공적 책임성(Public Accountability) 등 서로 다른 책임을 수행한다. 거버넌스 구조(Governance Structure)는 의사결정 권한(Decision Authority)을 명확히 하고 상충하는 목표 사이의 갈등을 해결할 수 있는 메커니즘을 확립해야 한다.

거버넌스 프레임워크(Governance Framework)는 조직 정책(Organizational Policies), 기술적 안전장치(Technical Safeguards), 법적 구속력이 있는 요구사항(Legally Enforceable Requirements)을 구분해야 한다. 조직 정책은 허용 가능한 업무 관행을 정의하고, 기술적 안전장치는 시스템 동작을 제한하며, 규제 요구사항은 의무적으로 준수해야 하는 사항을 확립한다. 이러한 계층은 기술 발전과 변화하는 사회적 기대에 적응하면서 상호 보완적으로 작동해야 한다.

거버넌스 생명주기(Governance Lifecycle)는 의도된 목적(Intended Purposes), 운영 경계(Operational Boundaries), 영향을 받는 집단(Affected Populations), 허용 가능한 위험 수준(Acceptable Risk Levels)을 정의하는 것에서 시작된다. 이러한 고려사항은 데이터셋 선택(Dataset Selection), 모델 아키텍처(Model Architecture), 평가 절차(Evaluation Procedures), 배포 조건(Deployment Conditions), 모니터링 요구사항(Monitoring Requirements)에 영향을 미친다. 초기 단계부터 거버넌스를 통합하면 시스템이 실제 운영 환경에 투입된 이후 윤리적 또는 법적 문제가 발견될 가능성을 줄일 수 있다.

위험 기반 거버넌스(Risk-Based Governance)는 인공지능 응용 분야마다 잠재적 결과가 크게 다르다는 점을 인식한다. 추천 엔진(Recommendation Engine), 임상 의사결정 지원 시스템(Clinical Decision-Support System), 자율주행 차량(Autonomous Vehicle), 산업용 로봇(Industrial Robot)은 서로 다른 위험 조건에서 작동한다. 따라서 거버넌스 요구사항은 모든 시스템에 동일한 통제를 적용하기보다 잠재적 피해의 심각도(Severity), 발생 가능성(Likelihood), 회복 가능성(Reversibility), 피해 분포(Distribution of Harms)를 반영해야 한다.

안전 거버넌스(Safety Governance)는 잘못된 예측(Incorrect Predictions), 예상하지 못한 상호작용(Unexpected Interactions), 시스템 장애(System Failures), 안전하지 않은 자율 행동(Unsafe Autonomous Actions)으로 인해 발생할 수 있는 허용 불가능한 피해를 방지하는 데 중점을 둔다. 이를 위해 체계적인 위험요소 식별(Hazard Identification), 위험 평가(Risk Assessment), 검증(Verification), 타당성 확인(Validation), 운영 모니터링(Operational Monitoring)이 필요하다. 지능형 구성요소가 변화하는 환경에 적응하거나 제한된 인간 감독하에 작동하더라도 안전에 대한 책임은 명확하게 유지되어야 한다.

책임성(Accountability)은 인공지능 시스템이 의사결정에 영향을 미치거나 유해한 결과를 발생시켰을 때 책임을 어떻게 배분할 것인지를 규정한다. 명확한 책임성을 확보하려면 문서화된 역할(Documented Roles), 추적 가능한 개발 의사결정(Traceable Development Decisions), 감사 가능한 운영 기록(Auditable Operational Records), 정의된 보고 및 대응 절차(Escalation Procedures)가 필요하다. 조직은 모델, 인프라, 인간 운영자 사이의 복잡한 상호작용으로 인해 책임 소재가 불명확해지는 상황을 방지해야 한다.

투명성(Transparency)은 인공지능 시스템이 어떻게 개발되고 평가되며 사용되는지에 대한 충분한 이해를 지원한다. 여기에는 시스템 역량(System Capabilities), 의도된 목적(Intended Purposes), 알려진 한계(Known Limitations), 불확실성(Uncertainty), 관련 운영 제약(Operational Constraints)을 전달하는 과정이 포함된다. 투명성이 반드시 독점 모델(Proprietary Models)의 무제한 공개를 의미하는 것은 아니지만, 적절한 감독(Oversight), 이의 제기 가능성(Contestability), 독립적 평가(Independent Assessment)를 수행할 수 있을 만큼 충분한 정보를 제공해야 한다.

공정성 거버넌스(Fairness Governance)는 인공지능 시스템이 개인과 공동체 사이에서 혜택(Benefits), 오류(Errors), 위험(Risks)을 공평하게 분배하는지를 검토한다. 편향(Bias)은 과거 데이터셋(Historical Datasets), 측정 관행(Measurement Practices), 모델 목표(Model Objectives), 배포 환경(Deployment Contexts), 피드백 메커니즘(Feedback Mechanisms)에서 발생할 수 있다. 공정성 평가(Fairness Assessment)는 통계적 성능 차이뿐 아니라 자동화된 의사결정이 기회와 결과에 영향을 미치는 광범위한 사회적 조건도 고려해야 한다.

개인정보 보호 및 데이터 거버넌스(Privacy and Data Governance)는 현대 인공지능 시스템이 개인 정보(Personal Information), 행동 정보(Behavioral Information), 환경 정보(Environmental Information), 운영 정보(Operational Information)의 대규모 수집에 의존하는 경우가 많기 때문에 필수적이다. 책임 있는 데이터 관리(Responsible Data Practices)에는 적법한 수집(Lawful Collection), 목적 제한(Purpose Limitation), 데이터 최소화(Data Minimization), 접근 제어(Access Control), 보존 관리(Retention Management), 안전한 처리(Secure Processing)가 포함된다. 또한 데이터 추론(Data Inference), 재식별(Reidentification), 2차 활용(Secondary Uses)으로 발생하는 위험도 다루어야 한다.

인간 감독(Human Oversight)은 특히 인공지능 시스템이 안전 필수 운영(Safety-Critical Operations)이나 중대한 의사결정(Consequential Decisions)에 영향을 미치는 경우 핵심적인 거버넌스 원칙이다. 감독 메커니즘(Oversight Mechanisms)에는 인간 승인(Human Approval), 감독 제어(Supervisory Control), 개입 권한(Intervention Authority), 비상 정지 기능(Emergency Shutdown Capabilities)이 포함될 수 있다. 이러한 메커니즘의 효과는 운영자가 의미 있는 개입을 수행할 수 있도록 충분한 정보, 교육, 대응 시간, 실질적인 권한을 보유하고 있는지에 달려 있다.

자율 시스템 및 피지컬 인공지능(Autonomous and Physical AI Systems)은 순수 디지털 응용 시스템(Purely Digital Applications)과 다른 거버넌스 과제를 발생시킨다. 로봇(Robots), 자율주행 차량(Autonomous Vehicles), 지능형 인프라(Intelligent Infrastructure)는 물리적 환경, 장비, 사람과 직접 상호작용한다. 따라서 이들 시스템의 거버넌스는 소프트웨어 보증(Software Assurance), 기계적 안전(Mechanical Safety), 사이버보안(Cybersecurity), 환경 인식(Environmental Perception), 운영 제약(Operational Constraints), 실제 행동에 대한 책임(Responsibility for Real-World Actions)을 통합해야 한다.

지능형 에이전트(Intelligent Agents)의 자율성이 증가하면서 감독과 제어에 대한 기존 가정이 더욱 복잡해지고 있다. 에이전트형 시스템(Agentic Systems)은 작업을 계획하고 외부 도구(External Tools)를 호출하며 다른 에이전트와 협력하고 장시간에 걸쳐 행동을 실행할 수 있다. 거버넌스 메커니즘은 권한 경계(Permission Boundaries), 행동 승인(Action Authorization), 자원 제한(Resource Limitations), 행동 모니터링(Behavioral Monitoring), 자율 실행이 의도된 목표에서 벗어났을 때의 복구 절차(Recovery Procedures)를 확립해야 한다.

인공지능 거버넌스는 사이버보안(Cybersecurity)과 적대적 조작(Adversarial Manipulation)도 고려해야 한다. 악의적인 입력(Malicious Inputs), 손상된 데이터셋(Compromised Datasets), 모델 추출(Model Extraction), 프롬프트 인젝션(Prompt Injection), 승인되지 않은 제어 인터페이스(Unauthorized Control Interfaces)는 정상적으로 작동하던 시스템의 신뢰성을 훼손할 수 있다. 보안 거버넌스(Security Governance)는 지속적인 위협 평가(Threat Assessment), 심층 방어 아키텍처(Defense-in-Depth Architectures), 사고 대응 역량(Incident Response Capabilities), 인공지능 공급망(AI Supply Chain) 전반의 통합 취약점 관리(Vulnerability Management)를 요구한다.

규제 거버넌스(Regulatory Governance)는 공공 정책 목표(Public Policy Objectives)를 법적으로 집행 가능한 의무(Enforceable Obligations), 평가 절차(Assessment Procedures), 제도적 책임(Institutional Responsibilities)으로 전환한다. 국제 표준(International Standards)과 규제 프레임워크(Regulatory Frameworks)는 위험 관리(Risk Management), 문서화(Documentation), 투명성(Transparency), 감독(Oversight)을 점점 더 강조하고 있다. 여러 관할권(Jurisdictions)에서 운영하는 조직은 책임 있는 개발과 배포를 위한 일관된 내부 원칙을 유지하면서 서로 다른 법적 요구사항을 조정해야 한다.

표준(Standards)은 상호운용성(Interoperability)과 책임성(Accountability)을 지원하는 공통 용어(Common Terminology), 평가 방법(Evaluation Methods), 관리 관행(Management Practices)을 제공한다. 미국 국립표준기술연구소 인공지능 위험관리 프레임워크(NIST AI Risk Management Framework)와 국제표준화기구 및 국제전기기술위원회의 ISO/IEC 42001은 인공지능 관련 위험을 식별하고 관리하며 검토하기 위한 체계적인 접근법을 제공한다. 이러한 표준의 실질적인 효과는 구현 품질(Implementation Quality), 조직의 실행 의지(Organizational Commitment), 운영 준수에 대한 증거(Evidence of Operational Compliance)에 달려 있다.

사회적 거버넌스(Societal Governance)는 인공지능 도입과 관련된 경제적 전환(Economic Transformation)을 다루어야 한다. 자동화(Automation)는 생산성을 높이고 서비스 가용성을 개선하며 새로운 기술 직종(Technical Occupations)을 창출할 수 있지만, 기존 업무를 대체하고 경제적 기회를 재분배할 수도 있다. 책임 있는 전환 전략(Responsible Transition Strategies)에는 인력 역량 개발(Workforce Development), 접근 가능한 교육(Accessible Education), 제도적 적응(Institutional Adaptation), 불균형한 변화에 노출된 공동체에 대한 고려가 필요하다.

공공 신뢰(Public Trust)는 기술적 신뢰성(Technical Reliability)뿐 아니라 절차적 정당성(Procedural Legitimacy)과 실질적인 참여(Meaningful Participation)에 의해서도 형성된다. 인공지능 기반 의사결정(AI-Supported Decisions)의 영향을 받는 개인은 관련 절차를 이해하고 우려를 제기하며 검토 또는 구제 조치(Remedy)를 요청할 수 있는 적절한 기회를 가져야 한다. 참여형 거버넌스(Participatory Governance)는 기존 공학적 평가(Engineering Evaluations)에서 간과할 수 있는 상황별 위험(Contextual Risks)을 식별하는 데 도움을 줄 수 있다.

환경적 지속가능성(Environmental Sustainability)은 인공지능 거버넌스의 또 다른 중요한 차원이다. 대규모 모델 학습(Large-Scale Model Training), 추론 인프라(Inference Infrastructure) 운영, 특수 하드웨어(Specialized Hardware) 제조, 자율 기계(Autonomous Machines) 배포에는 에너지와 물리적 자원이 소비된다. 책임 있는 거버넌스는 생명주기 영향(Lifecycle Impacts), 계산 효율성(Computational Efficiency), 하드웨어 활용률(Hardware Utilization), 유지보수 요구사항(Maintenance Requirements), 시스템 전반의 도입에 따른 환경적 결과(Environmental Consequences)를 평가해야 한다.

인공지능 위험은 배포 이후에도 변화하기 때문에 지속적 거버넌스(Continuous Governance)가 필요하다. 운영 환경(Operating Environments), 사용자 행동(User Behavior), 모델 데이터 분포(Model Distributions), 소프트웨어 의존성(Software Dependencies), 제도적 기대(Institutional Expectations)의 변화는 기존 가정을 무효화할 수 있다. 모니터링(Monitoring), 주기적 재평가(Periodic Reassessment), 사고 분석(Incident Analysis), 통제된 업데이트(Controlled Updates)를 통해 조직은 새롭게 발생하는 문제를 감지하고 배포된 시스템의 행동과 거버넌스 목표 사이의 정합성을 유지할 수 있다.

성숙한 거버넌스 프레임워크(Mature Governance Framework)는 전략적 목표(Strategic Objectives)를 측정 가능한 운영 증거(Measurable Operational Evidence)와 연결한다. 위험 등록부(Risk Registers), 평가 보고서(Evaluation Reports), 모델 문서(Model Documentation), 감사 추적 기록(Audit Trails), 사고 기록(Incident Records), 성과 지표(Performance Indicators)는 경영 검토(Management Review)에 필요한 정보를 제공한다. 거버넌스의 효과는 문서화 자체가 아니라 입증된 위험 감소(Demonstrated Risk Reduction), 적시 시정 조치(Timely Corrective Action), 책임성(Accountability), 지속적인 운영 신뢰성(Sustained Operational Reliability)을 통해 평가되어야 한다.

인공지능 거버넌스의 장기적 목표(Long-Term Objective)는 점점 더 높은 역량을 갖추는 지능형 시스템(Intelligent Systems)이 인간과 사회에 유익하고(Beneficial), 통제 가능하며(Controllable), 사회적 정당성(Social Legitimacy)을 유지하도록 보장하는 것이다. 이를 달성하려면 공학적 규율(Engineering Discipline), 제도적 책임성(Institutional Accountability), 규제 조정(Regulatory Coordination), 공공 참여(Public Participation)를 통합해야 한다. 따라서 거버넌스와 사회적 영향(Governance and Societal Impact)은 부차적인 고려사항이 아니라 인공지능 시스템 설계(AI System Design)의 근본적인 차원으로 다루어져야 한다.

06.01 AI Regulations

국가법령정보센터+1

인공지능 규제(AI Regulation)는 지능형 시스템(Intelligent Systems)의 개발, 배포 및 운영에 필요한 법적·제도적 요구사항(Legal and Institutional Requirements)을 확립한다. 각국 정부는 혁신(Innovation), 경제적 경쟁력(Economic Competitiveness), 기본권(Fundamental Rights), 공공 안전(Public Safety), 국가 안보(National Security) 사이의 균형을 서로 다르게 설정하기 때문에 규제 접근법도 국가와 관할권에 따라 차이가 있다. 이러한 차이를 이해하는 것은 국제 시장을 대상으로 인공지능 기술을 개발하는 조직에 필수적이다.

유럽연합(European Union), 미국(United States), 대한민국(South Korea)은 인공지능 거버넌스(AI Governance)에 대한 세 가지 중요한 접근법을 대표한다. 유럽연합은 통일된 법률 체계(Harmonized Legislation)와 위험 기반 의무(Risk-Based Obligations)를 강조하는 반면, 미국은 연방정부 정책(Federal Initiatives), 산업별 법률(Sector-Specific Laws), 주정부 규제(State-Level Regulation)를 결합한다. 대한민국은 신뢰할 수 있는 인공지능(Trustworthy AI)과 산업 경쟁력(Industrial Competitiveness)을 촉진하기 위한 법률을 국가 인공지능 발전 전략(National AI Development Strategies)과 통합한다.

유럽연합 인공지능법(EU Artificial Intelligence Act)은 유럽 시장에 출시되거나 해당 관할권 내에서 사용되는 인공지능 시스템을 위한 포괄적인 규제 프레임워크(Comprehensive Regulatory Framework)를 확립한다. 위험 기반 구조(Risk-Based Structure)는 안전성과 기본권에 미치는 잠재적 결과에 따라 응용 분야를 구분한다. 또한 범용 인공지능 모델(General-Purpose AI Models), 투명성 의무(Transparency Obligations), 규제 감독(Regulatory Supervision), 법 집행 메커니즘(Enforcement Mechanisms)을 다룬다.

유럽연합 인공지능법(EU AI Act)은 개인이나 사회에 허용할 수 없는 위험(Unacceptable Risks)을 초래하는 금지된 인공지능 관행(Prohibited AI Practices)을 규정한다. 여기에는 특정한 형태의 조작적 인공지능(Manipulative AI), 사회적 점수화(Social Scoring), 생체인식 응용(Biometric Applications)이 포함되며, 구체적인 법적 정의와 예외 조항이 적용된다. 이러한 금지 체계(Prohibition Framework)는 기술적 안전장치(Technical Safeguards)나 조직적 통제(Organizational Controls)가 존재한다는 이유만으로 모든 인공지능 활용이 허용되어서는 안 된다는 원칙을 반영한다.

유럽연합 인공지능법에 따른 고위험 인공지능 시스템(High-Risk AI Systems)에는 위험 관리(Risk Management), 데이터 거버넌스(Data Governance), 기술 문서(Technical Documentation), 기록 유지(Recordkeeping), 투명성(Transparency), 인간 감독(Human Oversight), 정확성(Accuracy), 강건성(Robustness), 사이버보안(Cybersecurity)에 관한 추가 요구사항이 적용된다. 응용 분야에 따라 적합성 평가 절차(Conformity Assessment Procedures)와 등록 의무(Registration Obligations)도 적용될 수 있다. 이러한 요구사항은 공학적 실무(Engineering Practices)를 규제 책임성(Regulatory Accountability)과 연결한다.

고위험 인공지능(High-Risk AI)의 분류는 계산 복잡도(Computational Complexity)만으로 결정되지 않으며, 의도된 목적(Intended Purpose)과 적용 가능한 법률 조항(Applicable Legal Provisions)에 따라 결정된다. 관련 분야에는 특정 의료기기(Medical Devices), 기계류(Machinery), 핵심 인프라(Critical Infrastructure), 고용 시스템(Employment Systems), 교육(Education), 공공 서비스(Public Services)가 포함된다. 조직은 자사의 응용 시스템이 규제 대상 범주에 해당하는지, 예외 조항(Exemptions)이나 산업별 규정(Sector-Specific Provisions)이 적용되는지 평가해야 한다.

유럽연합 인공지능법은 범용 인공지능 모델(General-Purpose AI Models)의 제공자(Providers)에 대해서도 문서화(Documentation)와 정보 공유(Information Sharing) 요구사항을 포함한 의무를 규정한다. 시스템적 위험(Systemic Risks)을 초래하는 모델에는 추가적인 평가(Evaluation), 위험 완화(Risk Mitigation), 사고 보고(Incident Reporting), 사이버보안 의무(Cybersecurity Obligations)가 적용된다. 이러한 조항은 광범위하게 재사용 가능한 파운데이션 모델(Foundation Models)이 최초 개발 목적을 넘어 다양한 후속 응용 분야(Downstream Applications)에 영향을 미칠 수 있다는 점을 반영한다.

유럽연합 인공지능법의 시행(Implementation)은 단일한 규제 준수 날짜(Compliance Date)가 아니라 단계적 일정(Phased Timetable)에 따라 진행된다. 서로 다른 조항이 각기 다른 시점에 적용되며, 법률 개정(Legislative Amendments)이나 경과 조치(Transitional Arrangements)에 따라 특정 의무가 변경될 수 있다. 따라서 조직은 이미 적용되는 조항과 향후 시행 예정인 요구사항을 구분할 수 있는 규제 모니터링 프로세스(Regulatory Monitoring Processes)를 유지해야 한다.

국제적인 인공지능 개발자(International AI Developers)에게 유럽연합의 규제 프레임워크는 유럽 외 지역에 위치한 본사나 인프라에도 영향을 미칠 수 있다. 관련 시장 진입 조건(Market Conditions)이나 출력물 사용 조건(Output-Use Conditions)이 충족되면 유럽연합 외부의 제공자(Providers)와 배포자(Deployers)도 규제 대상이 될 수 있다. 따라서 규제 준수 계획(Compliance Planning)은 제품 유통(Product Distribution), 배포 위치(Deployment Location), 계약상 책임(Contractual Responsibilities), 인공지능 생성 결과물의 의도된 사용(Intended Use of AI-Generated Outputs)을 고려해야 한다.

미국의 인공지능 거버넌스(AI Governance)는 상대적으로 분산된 규제 구조(Decentralized Regulatory Structure)를 따른다. 연방기관(Federal Agencies), 주의회(State Legislatures), 법원(Courts), 산업별 감독기관(Sector-Specific Authorities)이 서로 다른 요구사항과 지침을 마련한다. 소비자 보호(Consumer Protection), 고용 차별(Employment Discrimination), 개인정보 보호(Privacy), 금융 서비스(Financial Services), 의료(Healthcare), 제품 안전(Product Safety)에 관한 기존 법률은 원래 인공지능을 대상으로 제정되지 않았더라도 인공지능 시스템에 적용될 수 있다.

미국의 연방 인공지능 정책(Federal AI Policy)은 혁신(Innovation), 국가 경쟁력(National Competitiveness), 안보(Security), 정부의 인공지능 도입(Government Adoption), 기술적 위험 관리(Technological Risk Management)를 강조해 왔지만, 정책 우선순위는 행정부에 따라 달라진다. 행정명령(Executive Orders)과 기관 지침(Agency Guidance)은 민간기업에 포괄적인 의무를 반드시 부과하지 않더라도 연방정부 운영과 정책 방향에 영향을 미칠 수 있다. 이러한 조치의 법적 적용 범위(Legal Scope)와 지속적인 효력(Continuing Applicability)은 별도로 검토해야 한다.

미국 국립표준기술연구소의 인공지능 위험관리 프레임워크(NIST AI Risk Management Framework)는 인공지능 위험을 식별(Identify), 측정(Measure), 관리(Manage), 거버넌스 체계로 통제(Govern)하기 위한 자발적 구조(Voluntary Structure)를 제공한다. 이 프레임워크는 조직적 책임성(Organizational Accountability), 문서화(Documentation), 평가(Evaluation), 지속적 개선(Continuous Improvement)을 지원한다. 프레임워크 자체가 연방법(Federal Law)은 아니지만, 조달 관행(Procurement Practices), 내부 보증 프로그램(Internal Assurance Programs), 산업별 규제 준수 활동(Sector-Specific Compliance Activities)에 활용될 수 있다.

주정부 차원의 인공지능 입법(State-Level AI Legislation)은 미국의 규제 환경(Regulatory Landscape)에 또 다른 차원을 추가한다. 각 주는 자동화된 의사결정(Automated Decision-Making), 소비자 보호(Consumer Protection), 고용(Employment), 개인정보 보호(Privacy), 알고리즘 차별(Algorithmic Discrimination)에 관한 서로 다른 요구사항을 도입해 왔다. 따라서 여러 주에서 인공지능을 배포하는 조직은 중복되는 의무(Overlapping Obligations), 상이한 시행 일정(Implementation Schedules), 서로 다른 집행 메커니즘(Enforcement Mechanisms)에 직면할 수 있다.

미국의 규제 관행(Regulatory Practice)은 단일한 포괄적 인공지능 법률(Comprehensive AI Statute)보다는 기존 제도적 권한(Institutional Authorities)에 의존하는 경우가 많다. 감독기관은 기만적인 인공지능 관련 주장(Deceptive AI Claims), 차별적인 자동화 의사결정(Discriminatory Automated Decisions), 안전하지 않은 제품(Unsafe Products), 부적절한 데이터 처리(Improper Data Practices)를 기존 법적 프레임워크(Established Legal Frameworks)에 따라 평가할 수 있다. 따라서 개발자는 인공지능 전용 규제뿐 아니라 제품과 산업을 규율하는 광범위한 법률도 검토해야 한다.

대한민국은 일반적으로 인공지능 기본법(AI Basic Act)으로 알려진 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(Framework Act on the Development of Artificial Intelligence and the Creation of a Foundation for Trust)을 통해 국가 인공지능 규제 기반(National AI Regulatory Foundation)을 확립하였다. 2026년 1월 22일 시행된 이 법률은 인공지능 연구와 산업 발전을 지원하는 조치와 투명성(Transparency), 안전성(Safety), 신뢰할 수 있는 배포(Trustworthy Deployment)에 관한 의무를 결합한다.

대한민국의 인공지능 정책(Korean AI Policy)은 기술 경쟁력(Technological Competitiveness), 연구 인프라(Research Infrastructure), 산업적 도입(Industrial Adoption), 국가 차원의 통합 거버넌스(Coordinated National Governance)를 강조한다. 정부 정책은 인공지능 개발(AI Development), 학습 데이터(Training Data), 시험 시설(Testing Facilities), 국제 협력(International Cooperation), 사업화(Commercialization)를 지원한다. 이러한 정책은 새로운 기술적 위험을 관리하기 위한 제도적 메커니즘(Institutional Mechanisms)을 확립하면서 국내 인공지능 역량(Domestic AI Capabilities)을 강화하려는 노력을 반영한다.

대한민국 인공지능 기본법(Korean AI Basic Act)은 고영향 인공지능(High-Impact AI)과 특정 인공지능 제품 및 서비스의 투명성(Transparency)에 관한 조항을 도입한다. 관련 책임에는 인공지능과의 상호작용(AI Interactions)을 사용자에게 고지하고, 합성 콘텐츠(Synthetic Content)를 적절하게 표시하거나 관리하며, 필요한 안전성 및 신뢰성 조치(Safety and Reliability Measures)를 구현하는 것이 포함될 수 있다. 구체적인 의무는 법률상 정의(Statutory Definitions), 시행 규정(Implementing Rules), 배포된 시스템의 특성(Characteristics of the Deployed System)에 따라 달라진다.

고영향 인공지능 응용(High-Impact AI Applications)에 대해 대한민국의 거버넌스는 인간의 생명(Human Life), 신체적 안전(Physical Safety), 기본권(Fundamental Rights)에 미치는 잠재적 결과의 평가를 강조한다. 조직은 의도된 응용 분야(Intended Application), 자율성 수준(Degree of Autonomy), 영향을 받는 집단(Affected Populations), 활용 가능한 인간 감독(Human Oversight)을 검토해야 한다. 이러한 접근법은 의료(Healthcare), 교통(Transportation), 에너지(Energy) 및 기타 중대한 영향을 미치는 환경(Consequential Environments)에서 작동하는 인공지능 시스템에 특히 중요하다.

대한민국의 규제 환경(Regulatory Environment)은 기존 개인정보 보호(Privacy), 사이버보안(Cybersecurity), 제품 안전(Product Safety), 산업별 법률(Sector-Specific Legislation)과도 상호작용한다. 인공지능 기본법(AI Basic Act)을 준수한다고 해서 개인정보 보호나 산업 안전 요구사항(Industrial Safety Requirements)에 따른 의무가 자동으로 충족되는 것은 아니다. 개발자는 데이터셋(Datasets), 제품(Products), 운영 환경(Operating Environments), 상업적 관계(Commercial Relationships)에 적용되는 통합적인 법적 프레임워크(Combined Legal Framework)를 평가해야 한다.

세 관할권(Jurisdictions)을 비교하면 규제 구조(Regulatory Structure)에는 차이가 있지만, 근본적인 목표(Underlying Objectives)에서는 상당한 공통점이 나타난다. 유럽연합은 통일된 위험 기반 법률(Harmonized Risk-Based Legislation)을 강조하고, 미국은 분산된 법적·제도적 메커니즘(Distributed Legal and Institutional Mechanisms)에 의존하며, 대한민국은 국가 차원의 인공지능 진흥(National AI Promotion)과 법률에 따른 신뢰성 요구사항(Statutory Trust Requirements)을 결합한다. 세 접근법 모두 안전성(Safety), 책임성(Accountability), 투명성(Transparency), 책임 있는 혁신(Responsible Innovation)의 중요성을 인정한다.

국제적으로 운영하는 조직은 공학적 프로세스(Engineering Processes)를 분절시키지 않으면서 관할권별 요구사항(Jurisdiction-Specific Requirements)을 수용할 수 있는 규제 준수 아키텍처(Compliance Architectures)를 개발해야 한다. 공통 기반에는 문서화된 위험 평가(Documented Risk Assessments), 모델 평가(Model Evaluation), 사고 관리(Incident Management), 인간 감독(Human Oversight), 사이버보안 통제(Cybersecurity Controls), 추적 가능한 개발 기록(Traceable Development Records)이 포함될 수 있다. 이후 규제 매핑(Regulatory Mapping)을 통해 이러한 공통 통제를 각 시장에 적용되는 의무와 연결할 수 있다.

자율주행 차량(Autonomous Vehicles), 로봇공학(Robotics), 피지컬 인공지능(Physical AI)의 경우 규제 준수(Regulatory Compliance)는 지능형 소프트웨어(Intelligent Software)와 물리적 안전(Physical Safety)의 관계에 특별한 주의를 요구한다. 인공지능 전용 법률(AI-Specific Legislation)은 기계류 규정(Machinery Regulations), 교통 규칙(Transportation Rules), 기능 안전 표준(Functional Safety Standards), 제조물 책임 프레임워크(Product Liability Frameworks)와 함께 적용될 수 있다. 따라서 효과적인 거버넌스는 알고리즘 보증(Algorithmic Assurance)을 시스템 수준의 공학(System-Level Engineering), 운영 검증(Operational Validation), 지속적인 규제 검토(Continuous Regulatory Review)와 통합한다.

파운데이션 모델(Foundation Models), 자율 에이전트(Autonomous Agents), 체화 지능(Embodied Intelligence)이 새로운 기술적 역량(Technical Capabilities)과 사회적 위험(Societal Risks)을 창출함에 따라 인공지능 규제(AI Regulation)는 계속 발전할 것이다. 조직은 규제 대응 준비(Regulatory Readiness)를 일회성 인증 절차(One-Time Certification Exercise)가 아니라 지속적인 공학 및 거버넌스 책임(Continuous Engineering and Governance Responsibility)으로 다루어야 한다. 지속 가능한 규제 준수(Sustainable Compliance)는 법적 요구사항(Legal Requirements)과 배포 조건(Deployment Conditions)이 변화함에 따라 기술적 안전장치(Technical Safeguards), 제도적 프로세스(Institutional Processes), 책임성 메커니즘(Accountability Mechanisms)을 적응시키는 능력에 달려 있다.

06.02 AI Governance Frameworks

인공지능 거버넌스 프레임워크(AI Governance Frameworks)는 인공지능 시스템(AI Systems)이 책임 있게 개발, 배포 및 운영되도록 보장하기 위한 체계적인 메커니즘을 제공한다. 이러한 프레임워크는 윤리적 원칙(Ethical Principles), 규제 의무(Regulatory Obligations), 조직적 목표(Organizational Objectives)를 실질적인 정책(Policies)과 운영 통제(Operational Controls)로 전환한다. 효과적인 프레임워크는 인공지능 생명주기(AI Lifecycle) 전반에 걸쳐 책임성(Accountability), 위험 관리(Risk Management), 투명성(Transparency), 인간 감독(Human Oversight), 지속적인 평가(Continuous Evaluation)를 확립한다.

인공지능 거버넌스 프레임워크의 주요 목적은 전략적 책임(Strategic Responsibility)을 기술적 구현(Technical Implementation)과 연결하는 것이다. 거버넌스는 윤리적 선언(Ethical Declarations)이나 자발적 약속(Voluntary Commitments)에만 의존할 수 없다. 조직은 인공지능 시스템이 확립된 안전성(Safety), 신뢰성(Reliability), 공정성(Fairness), 규제 준수(Compliance) 요구사항을 충족하는지 입증할 수 있도록 명확한 의사결정 권한(Decision-Making Authorities), 측정 가능한 목표(Measurable Objectives), 문서화된 절차(Documented Procedures), 검증 메커니즘(Verification Mechanisms)을 갖추어야 한다.

거버넌스 프레임워크(Governance Frameworks)는 일반적으로 전략적 계층(Strategic Layer), 조직적 계층(Organizational Layer), 기술적 계층(Technical Layer), 운영적 계층(Operational Layer)에 걸쳐 작동한다. 전략적 거버넌스(Strategic Governance)는 제도적 목표(Institutional Objectives)와 허용 가능한 위험 경계(Acceptable Risk Boundaries)를 설정하며, 조직적 거버넌스(Organizational Governance)는 책임과 자원을 배분한다. 기술적 거버넌스(Technical Governance)는 공학적 통제(Engineering Controls)를 정의하고, 운영적 거버넌스(Operational Governance)는 모니터링과 시정 조치(Corrective Action)를 통해 배포된 시스템이 승인된 조건 내에서 작동하도록 보장한다.

미국 국립표준기술연구소의 인공지능 위험관리 프레임워크(NIST AI Risk Management Framework)는 인공지능과 관련된 위험을 관리하기 위한 널리 인정받는 접근법을 제공한다. 거버넌스(Govern), 맥락 파악(Map), 측정(Measure), 관리(Manage)라는 네 가지 상호 연결된 기능은 인공지능 위험을 체계적으로 식별하고 대응하도록 지원한다. 이 프레임워크는 개발 및 배포 활동 전반에서 조직적 맥락(Organizational Context), 신뢰할 수 있는 인공지능의 특성(Trustworthy AI Characteristics), 이해관계자 참여(Stakeholder Engagement), 지속적인 개선(Continuous Improvement)을 강조한다.

NIST 프레임워크에서 거버넌스 기능(Govern Function)은 정책(Policies), 책임(Responsibilities), 조직 문화(Organizational Culture), 감독 메커니즘(Oversight Mechanisms)을 확립한다. 맥락 파악 기능(Map Function)은 인공지능 시스템의 의도된 사용 환경(Intended Context), 이해관계자(Stakeholders), 잠재적 영향(Potential Impacts), 운영 경계(Operational Boundaries)를 식별한다. 측정 기능(Measure Function)은 위험과 시스템 특성을 평가하며, 관리 기능(Manage Function)은 대응 우선순위를 설정하고 통제를 구현하며 위험 완화 조치(Risk Mitigation Measures)의 효과가 유지되는지 모니터링한다.

ISO/IEC 42001은 조직이 기존 관리 구조(Management Structures)에 통합할 수 있는 인공지능 경영시스템(Artificial Intelligence Management System)의 요구사항을 규정한다. 이 표준은 거버넌스 책임(Governance Responsibilities), 조직의 상황(Organizational Context), 계획(Planning), 운영 통제(Operational Controls), 성과 평가(Performance Evaluation), 지속적 개선(Continual Improvement)을 다룬다. 이러한 경영시스템 접근법(Management-System Approach)은 조직이 개별적인 기술 평가에 의존하지 않고 책임 있는 인공지능 실무(Responsible AI Practices)를 제도화하도록 지원한다.

ISO/IEC 23894는 인공지능에 특화된 위험 관리(AI-Specific Risk Management)에 관한 지침을 제공함으로써 경영시스템 거버넌스(Management-System Governance)를 보완한다. 이 표준은 인공지능 시스템과 운영 환경에서 발생하는 위험의 식별(Identification), 분석(Analysis), 평가(Evaluation), 처리(Treatment)를 지원한다. 조직은 이러한 지침을 전사적 위험 관리(Enterprise Risk Management) 프로세스와 함께 활용하여 불확실성(Uncertainty), 의도하지 않은 결과(Unintended Consequences), 변화하는 시스템 행동(Changing System Behavior)에 대응할 수 있다.

국제적인 거버넌스 원칙(International Governance Principles)도 조직의 인공지능 프레임워크에 영향을 미친다. 경제협력개발기구 인공지능 원칙(OECD AI Principles)은 포용적 성장(Inclusive Growth), 인권(Human Rights), 투명성(Transparency), 강건성(Robustness), 보안(Security), 책임성(Accountability)을 강조한다. 유네스코 인공지능 윤리 권고(UNESCO Recommendation on the Ethics of Artificial Intelligence)는 인간 존엄성(Human Dignity), 환경적 지속가능성(Environmental Sustainability), 문화적 다양성(Cultural Diversity), 사회적 복지(Societal Well-Being)까지 논의를 확장하여 순수한 기술적 성능을 넘어서는 거버넌스를 장려한다.

유럽연합의 규제 접근법(European Union Regulatory Approach)은 조직의 거버넌스 시스템에 통합할 수 있는 법적으로 집행 가능한 의무(Legally Enforceable Obligations)를 도입한다. 적용 대상에 해당하는 경우 위험 분류(Risk Classification), 적합성 평가(Conformity Assessment), 기술 문서(Technical Documentation), 인간 감독(Human Oversight), 시판 후 모니터링(Post-Market Monitoring)이 거버넌스 책임으로 전환된다. 조직은 방어 가능한 규제 준수 전략(Defensible Compliance Strategies)을 수립하기 위해 의무적인 규제 요구사항(Mandatory Regulatory Requirements)을 자발적 표준(Voluntary Standards) 및 윤리적 권고(Ethical Recommendations)와 구분해야 한다.

효과적인 거버넌스를 위해서는 최고경영진(Executive Leadership), 인공지능 개발팀(AI Development Teams), 위험 관리자(Risk Managers), 규제 준수 전문가(Compliance Specialists), 운영 담당자(Operational Personnel) 사이의 책임 배분(Allocation of Responsibilities)이 명확하게 정의되어야 한다. 최고경영진은 위험 수용 성향(Risk Appetite)과 조직의 우선순위(Organizational Priorities)를 설정하고, 공학팀(Engineering Teams)은 기술적 안전장치(Technical Safeguards)를 구현한다. 독립적인 검토 조직(Independent Review Functions)은 개발 의사결정과 배포 관행이 승인된 거버넌스 정책을 충족하는지 평가한다.

인공지능 거버넌스 위원회(AI Governance Committee)는 고위험 응용(High-Risk Applications), 민감한 데이터셋(Sensitive Datasets), 모델 배포(Model Deployment), 중요한 시스템 변경(Significant System Modifications)에 관한 의사결정을 조정할 수 있다. 이러한 위원회에는 공학(Engineering), 사이버보안(Cybersecurity), 개인정보 보호(Privacy), 법적 규제 준수(Legal Compliance), 안전성(Safety), 관련 응용 분야(Application Domains)의 전문성이 포함되어야 한다. 위원회의 효과는 명확한 의사결정 권한(Decision Authority), 문서화된 검토 기준(Documented Review Criteria), 상위 보고 절차(Escalation Procedures), 신뢰할 수 있는 기술적 증거(Technical Evidence)에 대한 접근성에 달려 있다.

생명주기 거버넌스(Lifecycle Governance)는 모델 개발 이전에 시작되어 시스템 폐기(Retirement) 또는 교체(Replacement)까지 지속된다. 계획 단계(Planning Stage)에서 조직은 의도된 사용(Intended Uses), 금지된 응용(Prohibited Applications), 이해관계자 영향(Stakeholder Impacts), 허용 가능한 위험(Acceptable Risks)을 정의한다. 개발 단계(Development Stage)에서는 데이터 품질 관리(Data Quality Controls), 모델 검증(Model Validation), 문서화(Documentation)를 도입하며, 배포 단계(Deployment Stage)에서는 운영 승인(Operational Approval), 성능 모니터링(Performance Monitoring), 사고 대응(Incident Response), 주기적 재평가(Periodic Reassessment)가 요구된다.

데이터 거버넌스(Data Governance)는 학습 및 운영 데이터셋(Training and Operational Datasets)이 모델 행동(Model Behavior)에 큰 영향을 미치기 때문에 인공지능 거버넌스의 핵심 구성요소이다. 거버넌스 정책은 데이터 출처(Data Provenance), 수집의 적법성(Collection Legitimacy), 대표성(Representativeness), 주석 품질(Annotation Quality), 접근 권한(Access Permissions), 보존(Retention), 개인정보 보호(Privacy Protection)를 다루어야 한다. 데이터셋 문서화(Dataset Documentation)와 버전 관리(Version Control)는 모델이 재학습(Retraining), 평가(Evaluation), 운영 환경 간 이전(Transfer)될 때 추적성(Traceability)을 지원한다.

모델 거버넌스(Model Governance)는 모델 선택(Model Selection), 학습(Training), 평가(Evaluation), 출시(Release), 수정(Modification), 폐기(Retirement)에 대한 통제를 확립한다. 모델 레지스트리(Model Registries), 버전 이력(Version Histories), 평가 보고서(Evaluation Reports), 승인 기록(Approval Records)은 공학적 의사결정의 증거를 제공한다. 또한 거버넌스 프로세스는 운영 신뢰성(Operational Reliability)에 영향을 미칠 수 있는 모델의 한계(Limitations), 불확실성(Uncertainty), 분포 변화(Distribution Shifts), 외부 파운데이션 모델(External Foundation Models) 또는 제3자 서비스(Third-Party Services)에 대한 의존성을 식별해야 한다.

거버넌스 프레임워크 내 위험 관리(Risk Management)는 기술적 장애(Technical Failures)와 광범위한 사회적 결과(Broader Societal Consequences)를 함께 고려해야 한다. 관련 위험에는 안전하지 않은 행동(Unsafe Behavior), 차별적 결과(Discriminatory Outcomes), 개인정보 침해(Privacy Violations), 보안 취약점(Security Vulnerabilities), 허위정보(Misinformation), 자동화에 대한 과도한 의존(Excessive Automation Dependence)이 포함된다. 평가 방법은 배포 승인 이전에 발생 가능성(Likelihood), 심각도(Severity), 영향을 받는 집단(Affected Populations), 불확실성(Uncertainty), 기존 통제의 효과(Effectiveness of Existing Controls)를 고려해야 한다.

인간 감독 메커니즘(Human Oversight Mechanisms)은 사람이 인공지능 기반 의사결정(AI-Supported Decisions)을 감독하고 개입하거나 무효화하는 방법을 확립한다. 거버넌스 프레임워크는 인간 승인(Human Approval)이 필요한 시점, 운영자에게 제공되는 정보(Operator Information), 개입 권한(Intervention Authority)의 행사 방법을 명시해야 한다. 형식적인 인간 참여(Nominal Human Involvement)가 복잡하거나 빠르게 작동하는 시스템에 대한 실질적인 통제(Meaningful Control)를 보장하지는 않으므로, 감독 체계는 현실적인 운영 조건(Realistic Operational Conditions)을 기반으로 설계되어야 한다.

투명성(Transparency)과 설명가능성(Explainability)은 시스템 역량(System Capabilities), 한계(Limitations), 의사결정 과정(Decision Processes)을 관련 이해관계자가 이해할 수 있도록 함으로써 거버넌스를 지원한다. 내부 투명성(Internal Transparency)은 엔지니어와 감사자가 시스템 행동을 조사할 수 있도록 하며, 외부 투명성(External Transparency)은 사용자가 인공지능의 관여 여부와 잠재적 결과를 이해하도록 돕는다. 문서화(Documentation)는 복잡한 모델의 모든 의사결정을 완전히 설명할 수 있다는 인상을 주지 않으면서 불확실성(Uncertainty)과 알려진 한계(Known Limitations)를 전달해야 한다.

감사 및 보증(Auditing and Assurance)은 거버넌스 요구사항이 효과적으로 구현되었음을 입증하는 증거를 제공한다. 내부 감사(Internal Audits)는 정책(Policies), 기술적 통제(Technical Controls), 개발 기록(Development Records), 운영 관행(Operational Practices)을 검토하며, 독립적 평가(Independent Assessments)는 추가적인 검증을 제공할 수 있다. 감사 결과(Audit Findings)는 단순한 규제 준수 보고서(Compliance Reports)로 남아서는 안 되며, 시정 조치(Corrective Actions), 책임자 지정(Assigned Responsibilities), 개선 조치 검증(Verification of Remediation), 경영진 검토(Management Review)로 이어져야 한다.

지속적인 모니터링(Continuous Monitoring)은 인공지능 시스템에서 성능 저하(Performance Degradation), 데이터 분포 변화(Changing Data Distributions), 새로운 취약점(Emerging Vulnerabilities), 예상하지 못한 사용자 상호작용(Unexpected User Interactions)이 발생할 수 있기 때문에 필수적이다. 거버넌스 프레임워크는 측정 가능한 지표(Measurable Indicators), 경고 임계값(Alert Thresholds), 사고 분류(Incident Classification), 상위 보고 절차(Escalation Procedures)를 정의해야 한다. 모니터링 결과는 모델 유지보수(Model Maintenance), 위험 재평가(Risk Reassessment), 운영 제한(Operational Restrictions), 배포 의사결정(Deployment Decisions)에 다시 반영되어야 한다.

자율 시스템(Autonomous Systems)과 피지컬 인공지능(Physical AI)의 경우 거버넌스는 소프트웨어 모델을 넘어 통합된 하드웨어(Hardware), 센서(Sensors), 액추에이터(Actuators), 통신 네트워크(Communication Networks), 운영 환경(Operating Environments)까지 확장되어야 한다. 안전 책임(Safety Responsibilities)에는 시스템 수준의 위험요소 분석(System-Level Hazard Analysis), 운행 설계 영역(Operational Design Domains), 고장 안전 메커니즘(Fail-Safe Mechanisms), 인간 개입 기능(Human Intervention Capabilities)이 포함된다. 거버넌스는 자율 행동(Autonomous Behavior)이 물리적 안전 제약(Physical Safety Constraints) 및 적용 가능한 공학 표준(Engineering Standards)과 양립하도록 보장해야 한다.

제3자 및 공급망 거버넌스(Third-Party and Supply-Chain Governance)는 조직이 사전학습 모델(Pretrained Models), 클라우드 플랫폼(Cloud Platforms), 외부 데이터셋(External Datasets), 상용 인공지능 서비스(Commercial AI Services)를 통합함에 따라 더욱 중요해진다. 이러한 의존성(Dependencies)은 라이선스 제한(Licensing Restrictions), 보안 취약점(Security Vulnerabilities), 불확실한 데이터 출처(Uncertain Data Provenance), 모델 개발 과정에 대한 제한된 가시성(Limited Visibility)을 초래할 수 있다. 거버넌스 정책은 공급업체 평가(Supplier Assessment), 계약상 책임(Contractual Responsibilities), 업데이트 관리(Update Management), 핵심 의존성에 대한 비상 대응 절차(Contingency Procedures)를 확립해야 한다.

거버넌스 성숙도(Governance Maturity)는 반복적인 평가(Repeated Evaluation)와 조직적 학습(Organizational Learning)을 통해 발전한다. 초기 프레임워크는 정책 수립(Policy Creation)과 기본 문서화(Basic Documentation)에 중점을 둘 수 있지만, 고도화된 구현은 자동화된 통제(Automated Controls), 지속적 보증(Continuous Assurance), 정량적 위험 지표(Quantitative Risk Indicators), 독립적 감독(Independent Oversight)을 통합한다. 성숙도는 작성된 정책의 수가 아니라 입증된 효과(Demonstrated Effectiveness), 신속한 사고 해결(Timely Incident Resolution), 지속적인 책임성(Sustained Accountability)을 통해 평가되어야 한다.

포괄적인 인공지능 거버넌스 프레임워크(Comprehensive AI Governance Framework)는 궁극적으로 윤리적 목표(Ethical Objectives), 규제 요구사항(Regulatory Requirements), 공학적 실무(Engineering Practices), 조직적 책임성(Organizational Accountability)을 일관된 운영 체계(Coherent Operating System)로 연결한다. 그 성공은 경영진의 실행 의지(Leadership Commitment), 기술적 증거(Technical Evidence), 이해관계자 참여(Stakeholder Participation), 지속적인 적응(Continuous Adaptation)에 달려 있다. 인공지능 시스템의 자율성과 영향력이 증가함에 따라 거버넌스는 신뢰할 수 있는 시스템 아키텍처(Trustworthy System Architecture)와 책임 있는 기술 배포(Responsible Technological Deployment)의 필수 구성요소로 발전해야 한다.

06.03 Risk Management

인공지능 위험 관리(AI Risk Management)는 시스템의 안전성(Safety), 신뢰성(Reliability), 공정성(Fairness), 보안(Security), 사회적 복지(Societal Well-Being)에 영향을 미칠 수 있는 불확실성을 식별(Identification), 평가(Assessment), 완화(Mitigation), 모니터링(Monitoring)하기 위한 체계적인 프로세스를 확립한다. 기존 소프트웨어(Conventional Software)와 달리 인공지능 시스템(AI Systems)은 확률적 행동(Probabilistic Behavior), 데이터 의존적 장애(Data-Dependent Failures), 예상하지 못한 상호작용(Unexpected Interactions)을 나타낼 수 있다. 따라서 효과적인 위험 관리는 기술적 취약점(Technical Vulnerabilities)과 광범위한 조직적 결과(Organizational Consequences)를 모두 다루어야 한다.

인공지능 위험 관리는 시스템의 의도된 목적(Intended Purpose), 운영 환경(Operating Environment), 이해관계자(Stakeholders), 허용 가능한 위험 경계(Acceptable Risk Boundaries)를 정의하는 것에서 시작된다. 이러한 요소는 어떤 위험요소(Hazards)에 주의를 기울여야 하는지, 잠재적 결과(Potential Consequences)를 어떻게 평가해야 하는지를 결정한다. 조직은 위험 평가(Risk Assessment)의 범위를 설정할 때 정상 작동(Normal Operation), 예측 가능한 오용(Foreseeable Misuse), 비정상 조건(Abnormal Conditions), 외부 시스템과의 상호작용(Interactions with External Systems)을 고려해야 한다.

위험 식별(Risk Identification)은 데이터 수집(Data Collection), 모델 학습(Model Training), 검증(Validation), 배포(Deployment), 유지보수(Maintenance), 폐기(Retirement)를 포함한 인공지능 생명주기(AI Lifecycle) 전반에서 발생할 수 있는 잠재적 피해 원인(Potential Sources of Harm)을 조사한다. 관련 위험에는 편향된 데이터셋(Biased Datasets), 부정확한 예측(Inaccurate Predictions), 적대적 공격(Adversarial Attacks), 개인정보 침해(Privacy Violations), 자동화 장애(Automation Failures), 의도하지 않은 자율 행동(Unintended Autonomous Behavior)이 포함된다. 위험을 조기에 식별하면 조직은 장애가 운영 사고(Operational Incidents)로 발전하기 전에 예방적 통제(Preventive Controls)를 구현할 수 있다.

위험 평가(Risk Assessment)는 불확실성(Uncertainty), 노출도(Exposure), 기존 안전장치의 효과(Effectiveness of Existing Safeguards)를 고려하면서 식별된 위험요소의 발생 가능성(Likelihood)과 심각도(Severity)를 평가한다. 전통적인 위험 매트릭스(Risk Matrices)는 정성적 분류(Qualitative Classifications)를 제공하며, 정량적 방법(Quantitative Methods)은 발생 확률(Probabilities), 기대 손실(Expected Losses), 운영상 결과(Operational Consequences)를 추정한다. 복잡한 인공지능 시스템에서는 이러한 접근법을 시나리오 분석(Scenario Analysis)과 증거 기반 시험(Evidence-Based Testing)으로 보완해야 한다.

내재 위험(Inherent Risk)과 잔여 위험(Residual Risk)의 구분은 인공지능 거버넌스(AI Governance)의 기본 요소이다. 내재 위험은 보호 통제(Protective Controls)가 적용되기 전의 잠재적 위험 노출(Potential Exposure)을 의미하며, 잔여 위험은 위험 완화 조치(Mitigation Measures)가 구현된 이후에도 남아 있는 위험을 의미한다. 조직은 잔여 위험이 승인된 수용 기준(Acceptance Criteria) 내에 있는지, 추가적인 통제(Additional Controls)나 배포 제한(Deployment Restrictions)이 필요한지를 판단해야 한다.

미국 국립표준기술연구소의 인공지능 위험관리 프레임워크(NIST AI Risk Management Framework)는 거버넌스(Govern), 맥락 파악(Map), 측정(Measure), 관리(Manage) 기능을 통해 체계적인 접근법을 제공한다. 이러한 기능은 조직적 책임성(Organizational Accountability)을 상황별 위험 식별(Contextual Risk Identification), 기술적 측정(Technical Measurement), 운영적 위험 완화(Operational Mitigation)와 연결한다. 반복적인 적용(Iterative Application)은 인공지능 역량(AI Capabilities), 배포 조건(Deployment Conditions), 이해관계자의 기대(Stakeholder Expectations)가 변화함에 따라 지속적인 재평가(Continuous Reassessment)를 지원한다.

ISO/IEC 23894는 인공지능에 특화된 위험 관리(AI-Specific Risk Management)를 조직의 프로세스(Organizational Processes)에 통합하기 위한 지침을 제공한다. 이 표준은 맥락 이해(Contextual Understanding), 위험 식별(Risk Identification), 분석(Analysis), 평가(Evaluation), 처리(Treatment), 의사소통(Communication), 모니터링(Monitoring)을 강조한다. ISO/IEC 42001과 결합하면 이러한 실무는 전략적 거버넌스 책임(Strategic Governance Responsibilities)을 실질적인 위험 통제(Practical Risk Controls) 및 문서화된 증거(Documented Evidence)와 연결하는 경영시스템(Management System)을 지원한다.

데이터 관련 위험(Data-Related Risks)은 불완전한 데이터 범위(Incomplete Coverage), 부정확한 레이블(Inaccurate Labels), 표본 편향(Sampling Bias), 오래된 정보(Outdated Information), 부적절한 데이터 수집 관행(Inappropriate Data Collection Practices)에서 자주 발생한다. 이러한 약점은 모델 학습(Model Training) 과정으로 전파되어 신뢰할 수 없거나 차별적인 결과(Unreliable or Discriminatory Outcomes)를 생성할 수 있다. 위험 완화(Risk Mitigation)를 위해서는 데이터 출처 추적(Data Provenance Tracking), 품질 평가(Quality Assessment), 대표성 있는 표본 추출(Representative Sampling), 개인정보 보호(Privacy Protection), 데이터셋 한계에 대한 체계적인 평가(Systematic Evaluation of Dataset Limitations)가 필요하다.

모델 관련 위험(Model-Related Risks)은 과적합(Overfitting), 부정확한 확률 보정(Poor Calibration), 분포 변화(Distribution Shift), 불확실성(Uncertainty), 불충분한 일반화(Inadequate Generalization)에서 발생한다. 벤치마크 데이터셋(Benchmark Datasets)에서 우수한 성능을 보이는 모델도 익숙하지 않은 운영 조건(Unfamiliar Operational Conditions)에서는 예측하기 어려운 행동을 나타낼 수 있다. 따라서 위험 관리에는 배포 이전에 분포 외 데이터 시험(Out-of-Distribution Testing), 불확실성 추정(Uncertainty Estimation), 스트레스 시험(Stress Testing), 성능 경계의 명시적 특성화(Explicit Characterization of Performance Boundaries)가 포함되어야 한다.

적대적 위험(Adversarial Risks)과 사이버보안 위험(Cybersecurity Risks)은 악의적인 입력(Malicious Inputs), 손상된 학습 데이터(Compromised Training Data), 무단 접근(Unauthorized Access)을 통해 지능형 시스템이 조작될 수 있으므로 특별한 주의가 필요하다. 위협 모델링(Threat Modeling)은 적대적 예제(Adversarial Examples), 데이터 오염(Data Poisoning), 모델 추출(Model Extraction), 프롬프트 인젝션(Prompt Injection), 공급망 취약점(Supply-Chain Vulnerabilities)을 고려해야 한다. 방어 전략(Defensive Strategies)은 안전한 개발 관행(Secure Development Practices), 접근 통제(Access Controls), 모니터링(Monitoring), 사고 대응 역량(Incident Response Capabilities)을 결합한다.

공정성 위험(Fairness Risks)과 윤리적 위험(Ethical Risks)은 인공지능 시스템이 불평등한 결과(Unequal Outcomes)를 생성하거나, 역사적 차별(Historical Discrimination)을 강화하거나, 충분한 투명성(Transparency) 없이 개인에게 영향을 미칠 때 발생한다. 이러한 위험은 예측 정확도(Predictive Accuracy)만으로 항상 평가할 수 있는 것은 아니다. 조직은 인구집단별 성능 차이(Demographic Performance Differences), 영향을 받는 집단(Affected Populations), 의사결정의 결과(Decision Consequences), 인간 검토(Human Review) 또는 이의제기(Contestation)의 기회를 검토해야 한다.

인적 요인(Human Factors)은 운영자가 모델 역량(Model Capabilities)을 잘못 이해하거나, 자동화된 권고(Automated Recommendations)를 과도하게 신뢰하거나, 효과적으로 개입할 수 없을 때 추가적인 위험을 초래한다. 자동화 편향(Automation Bias)과 부적절하게 설계된 인터페이스(Poorly Designed Interfaces)는 기술적 오류(Technical Errors)를 조직적 장애(Organizational Failures)로 확대할 수 있다. 따라서 위험 관리는 인간-기계 상호작용(Human-Machine Interaction), 운영자 교육(Operator Training), 업무 부하(Workload), 개입 권한(Intervention Authority), 감독 메커니즘의 실질적인 효과(Practical Effectiveness of Oversight Mechanisms)를 평가해야 한다.

위험 완화 전략(Risk Mitigation Strategies)은 장애 발생 확률(Probability of Failure)을 낮추거나, 결과의 심각도(Severity of Consequences)를 제한하거나, 허용할 수 없는 조건(Unacceptable Conditions)에 대한 노출을 방지할 수 있다. 기술적 통제(Technical Controls)에는 이중화(Redundancy), 입력 검증(Input Validation), 신뢰도 임계값(Confidence Thresholds), 대체 작동 메커니즘(Fallback Mechanisms), 런타임 모니터링(Runtime Monitoring)이 포함된다. 조직적 통제(Organizational Controls)에는 승인 절차(Approval Procedures), 독립적 검토(Independent Reviews), 운영 제한(Operational Restrictions), 시정 조치(Corrective Action)에 대한 명확한 책임 배분이 포함된다.

안전 필수 인공지능 응용(Safety-Critical AI Applications)에는 소프트웨어(Software), 하드웨어(Hardware), 인간(Humans), 환경 조건(Environmental Conditions) 사이의 상호작용을 고려하는 위험요소 분석 방법(Hazard Analysis Methods)이 필요하다. 고장 형태 및 영향 분석(Failure Mode and Effects Analysis), 결함수 분석(Fault Tree Analysis), 시스템 이론 기반 프로세스 분석(Systems-Theoretic Process Analysis)과 같은 기법은 장애 발생 경로(Failure Pathways)를 체계적으로 조사하는 데 활용될 수 있다. 이러한 방법은 인공지능 특유의 불확실성(AI-Specific Uncertainty)에 맞게 조정하고 기존 안전 공학 실무(Conventional Safety Engineering Practices)와 통합해야 한다.

자율주행 차량(Autonomous Vehicles)과 피지컬 인공지능 시스템(Physical AI Systems)은 인지(Perception), 계획(Planning), 제어(Control) 기능이 실패할 경우 직접적인 물리적 결과(Physical Consequences)를 초래한다. 위험은 센서 성능 저하(Sensor Degradation), 위치 추정 오류(Localization Errors), 예상하지 못한 장애물(Unexpected Obstacles), 통신 장애(Communication Failures), 안전하지 않은 액추에이터 명령(Unsafe Actuator Commands)에서 발생할 수 있다. 효과적인 관리를 위해서는 운행 설계 영역(Operational Design Domains), 안전 제약(Safety Constraints), 비상 개입 기능(Emergency Intervention Capabilities), 검증된 최소 위험 행동(Validated Minimum-Risk Behavior)이 필요하다.

위험 평가(Risk Evaluation)는 개별 구성요소의 성능(Isolated Component Performance)과 통합 시스템의 행동(Integrated System Behavior)을 구분해야 한다. 개별적으로 신뢰성이 높은 모델도 인지(Perception), 계획(Planning), 의사결정(Decision-Making), 제어(Control) 파이프라인으로 연결되면 예상하지 못한 위험을 생성하는 방식으로 상호작용할 수 있다. 따라서 시스템 수준 시험(System-Level Testing)은 현실적인 운영 조건(Realistic Operating Conditions)에서 인터페이스 가정(Interface Assumptions), 시간적 의존성(Timing Dependencies), 연쇄 장애(Cascading Failures), 복구 행동(Recovery Behavior)을 검토해야 한다.

시나리오 기반 위험 분석(Scenario-Based Risk Analysis)은 드문 사건(Rare Events), 비정상적인 조건 조합(Unusual Combinations of Conditions), 예측 가능한 운영 교란(Foreseeable Operational Disturbances)에 인공지능 시스템이 어떻게 대응하는지 탐색한다. 시뮬레이션(Simulation), 결함 주입(Fault Injection), 적대적 시험(Adversarial Testing), 통제된 현장 실험(Controlled Field Experiments)은 표준 벤치마크(Standard Benchmarks)에서 포착되지 않는 약점을 드러낼 수 있다. 시나리오 범위(Scenario Coverage)는 무작위로 생성된 시험(Randomly Generated Tests)에만 의존하지 않고 운영상 위험요소(Operational Hazards)와 알려진 한계(Known Limitations)를 반영해야 한다.

위험 등록부(Risk Registers)는 식별된 위험요소(Identified Hazards), 영향을 받는 자산(Affected Assets), 발생 가능성 추정치(Likelihood Estimates), 심각도 평가(Severity Assessments), 위험 완화 조치(Mitigation Measures), 책임자(Responsible Owners), 잔여 위험 결정(Residual Risk Decisions)을 구조화하여 기록한다. 이러한 기록을 유지하면 개발팀 전반의 추적성(Traceability)과 책임성(Accountability)이 향상된다. 위험 등록부는 새로운 증거(New Evidence), 사고(Incidents), 시스템 변경(System Modifications)에 따라 지속적으로 갱신되는 실제 운영 문서(Active Operational Documents)로 유지되어야 한다.

위험 수용(Risk Acceptance)에는 명시적인 조직적 권한(Organizational Authority)과 남아 있는 위험 노출(Remaining Exposure)이 법적 의무(Legal Obligations) 및 확립된 안전 목표(Established Safety Objectives)에 부합한다는 증거가 필요하다. 모든 위험을 제거할 수는 없지만, 허용할 수 없는 위험요소(Unacceptable Hazards)를 경제적 이익(Economic Benefits)이나 성능 개선(Performance Improvements)만으로 정당화해서는 안 된다. 승인 프로세스(Approval Processes)는 가정(Assumptions), 한계(Limitations), 보완적 통제(Compensating Controls), 재평가를 유발하는 조건(Conditions Triggering Reassessment)을 문서화해야 한다.

지속적인 모니터링(Continuous Monitoring)은 배포 이후 발생하는 모델 드리프트(Model Drift), 정확도 저하(Degraded Accuracy), 비정상 행동(Abnormal Behavior), 사이버보안 사고(Cybersecurity Incidents), 예상하지 못한 환경 상호작용(Unexpected Environmental Interactions)을 포함한 새로운 위험을 탐지한다. 모니터링 시스템(Monitoring Systems)은 측정 가능한 지표(Measurable Indicators), 경고 임계값(Alert Thresholds), 상위 보고 절차(Escalation Procedures), 대응 책임(Response Responsibilities)을 확립해야 한다. 운영 증거(Operational Evidence)는 재학습(Retraining), 이전 버전 복원(Rollback), 일시적 제한(Temporary Restrictions), 시스템 종료(System Shutdown)에 관한 의사결정에 반영되어야 한다.

사고 관리(Incident Management)는 운영 장애(Operational Failures)와 아차사고(Near Misses)를 체계적인 개선(Systematic Improvement)의 기회로 전환한다. 효과적인 프로세스에는 사건 탐지(Event Detection), 심각도 분류(Severity Classification), 증거 보존(Evidence Preservation), 근본 원인 분석(Root-Cause Analysis), 시정 조치(Corrective Action), 개선 조치 검증(Verification of Remediation)이 포함된다. 도출된 교훈(Lessons Learned)은 반복적인 장애를 방지하기 위해 위험 평가(Risk Assessments), 시험 절차(Testing Procedures), 운영 정책(Operational Policies), 공학적 요구사항(Engineering Requirements)에 반영되어야 한다.

제3자 의존성(Third-Party Dependencies)은 외부 모델(External Models), 클라우드 서비스(Cloud Services), 데이터셋(Datasets), 하드웨어 공급업체(Hardware Suppliers), 소프트웨어 라이브러리(Software Libraries)와 관련된 위험을 초래한다. 조직은 이러한 구성요소나 개발 프로세스(Development Processes)에 대한 가시성(Visibility)이 제한될 수 있다. 공급업체 평가(Supplier Assessment), 계약상 의무(Contractual Obligations), 취약점 모니터링(Vulnerability Monitoring), 버전 관리(Version Control), 비상 대응 계획(Contingency Planning)은 조직의 직접적인 통제 범위 밖에서 발생하는 장애에 대한 노출을 줄이는 데 도움이 된다.

성숙한 인공지능 위험 관리 프로그램(Mature AI Risk Management Program)은 거버넌스(Governance), 기술적 보증(Technical Assurance), 운영 모니터링(Operational Monitoring), 지속적인 조직적 학습(Continuous Organizational Learning)을 통합한다. 그 효과는 측정 가능한 증거(Measurable Evidence), 명확한 책임성(Clear Accountability), 현실적인 시험(Realistic Testing), 적시의 시정 조치(Timely Corrective Action)에 달려 있다. 인공지능 시스템의 자율성(Autonomy)과 상호연결성(Interconnectedness)이 증가함에 따라 위험 관리는 주기적인 규제 준수 평가(Periodic Compliance Assessment)에서 벗어나 시스템 공학(System Engineering)과 배포(Deployment) 전반에 내재된 지속적인 역량(Continuous Capability)으로 발전해야 한다.

06.04 Auditing and Compliance

인공지능 감사 및 규제 준수(AI Auditing and Compliance)는 인공지능 시스템(Artificial Intelligence Systems)이 규제 의무(Regulatory Obligations), 조직 정책(Organizational Policies), 기술 표준(Technical Standards), 윤리적 약속(Ethical Commitments)을 충족하는지 검증하기 위한 체계적인 프로세스를 확립한다. 감사(Auditing)는 시스템 행동(System Behavior)과 거버넌스 효과성(Governance Effectiveness)에 관한 증거를 검토하며, 규제 준수(Compliance)는 적용 가능한 요구사항이 일관되게 충족되도록 보장한다. 이 두 기능은 인공지능 생명주기(AI Lifecycle) 전반에 걸쳐 책임성(Accountability), 투명성(Transparency), 신뢰(Trust)를 강화한다.

인공지능 감사(AI Auditing)는 지능형 시스템(Intelligent Systems)이 확률적 행동(Probabilistic Behavior), 데이터 의존적 결과(Data-Dependent Outcomes), 익숙하지 않은 조건에서 변화하는 성능(Changing Performance)을 나타내는 경우가 많기 때문에 기존 소프트웨어 감사(Conventional Software Auditing)와 차이가 있다. 감사자는 소프트웨어 아키텍처(Software Architecture)와 보안 통제(Security Controls)뿐만 아니라 학습 데이터(Training Data), 모델 평가(Model Evaluation), 의사결정 패턴(Decision Patterns), 불확실성(Uncertainty), 운영상 영향(Operational Impacts)도 검토해야 한다. 이러한 확장된 범위에는 학제 간 전문성(Interdisciplinary Expertise)과 증거 기반 평가 방법(Evidence-Based Assessment Methods)이 필요하다.

규제 준수 관리(Compliance Management)는 적용 가능한 법률(Laws), 규정(Regulations), 표준(Standards), 계약상 의무(Contractual Obligations), 내부 거버넌스 요구사항(Internal Governance Requirements)을 식별하는 것에서 시작된다. 국제적으로 운영되는 조직은 관할권별 규칙(Jurisdiction-Specific Rules), 산업별 규제(Sectoral Regulations), 개인정보 보호 법률(Privacy Legislation), 제품 안전 요구사항(Product Safety Requirements)을 고려해야 한다. 규제 적용성 평가(Regulatory Applicability Assessment)는 각 인공지능 응용(AI Application)에 어떤 의무가 적용되는지, 규제 준수 책임(Compliance Responsibilities)을 어떻게 배분해야 하는지 확립한다.

효과적인 인공지능 규제 준수 프로그램(AI Compliance Program)은 외부 의무(External Obligations)를 측정 가능한 내부 통제(Measurable Internal Controls)로 전환한다. 규제 요구사항(Regulatory Requirements)은 개발 절차(Development Procedures), 문서화 관행(Documentation Practices), 시험 프로토콜(Testing Protocols), 승인 워크플로(Approval Workflows), 운영 안전장치(Operational Safeguards)와 연결되어야 한다. 이러한 대응 관계(Mapping)는 법적 요구사항(Legal Expectations)과 공학적 증거(Engineering Evidence) 사이의 추적성(Traceability)을 형성하여 조직이 특정 요구사항의 충족 방법을 입증할 수 있도록 한다.

유럽연합 인공지능법(EU AI Act)은 적용 대상인 고위험 시스템(High-Risk Systems)에 대해 문서화된 위험 관리(Documented Risk Management), 데이터 거버넌스(Data Governance), 기술 문서(Technical Documentation), 인간 감독(Human Oversight), 시판 후 모니터링(Post-Market Monitoring)을 요구할 수 있다는 점을 보여준다. 시스템과 관련 조항에 따라 적합성 평가(Conformity Assessment)와 등록(Registration)도 요구될 수 있다. 조직은 적용 가능한 법적 의무(Applicable Legal Duties)를 자발적 지침(Voluntary Guidance)과 구분하고 단계적 시행 일정(Phased Implementation Schedules)을 모니터링해야 한다.

ISO/IEC 42001은 인공지능 경영시스템(Artificial Intelligence Management System)의 수립(Establishment), 구현(Implementation), 유지(Maintenance), 지속적 개선(Continual Improvement)에 관한 요구사항을 제공한다. 이 표준의 경영시스템 구조(Management-System Structure)는 내부 감사(Internal Audits), 경영진 검토(Leadership Review), 문서화된 책임(Documented Responsibilities), 시정 조치(Corrective Action)를 지원한다. 이 표준에 따른 인증(Certification)은 경영시스템 적합성(Management-System Conformity)에 대한 독립적 보증(Independent Assurance)을 제공할 수 있지만, 적용 가능한 모든 인공지능 법률의 준수를 자동으로 입증하지는 않는다.

미국 국립표준기술연구소의 인공지능 위험관리 프레임워크(NIST AI Risk Management Framework)는 거버넌스(Govern), 맥락 파악(Map), 측정(Measure), 관리(Manage) 기능을 통해 감사를 지원한다. 이러한 기능은 조직이 위험 책임(Risk Ownership), 시스템 맥락(System Context), 평가 방법(Evaluation Methods), 위험 완화 결정(Mitigation Decisions)을 문서화하도록 장려한다. 이 프레임워크는 자발적으로 적용되는 체계이지만, 구조화된 접근법(Structured Approach)을 통해 다양한 인공지능 응용 분야에서 감사 준비(Audit Preparation), 통제 평가(Control Assessment), 지속적 보증(Continuous Assurance)을 지원할 수 있다.

감사 범위(Audit Scope)는 시스템 중요도(System Criticality), 규제 분류(Regulatory Classification), 운영상 노출(Operational Exposure), 잠재적 결과(Potential Consequences)에 따라 정의되어야 한다. 저위험 추천 엔진(Low-Risk Recommendation Engine)은 자율주행 차량(Autonomous Vehicle)이나 의료 의사결정 지원 시스템(Medical Decision-Support System)과 서로 다른 수준의 증거를 요구할 수 있다. 위험 기반 감사 계획(Risk-Based Audit Planning)은 장애가 중대한 안전상, 법적, 재무적, 사회적 영향(Safety, Legal, Financial, or Societal Impacts)을 초래할 수 있는 시스템에 자원을 집중하도록 한다.

데이터 감사(Data Auditing)는 인공지능 생명주기 전반에서 사용되는 데이터셋(Datasets)의 품질(Quality), 적법성(Legitimacy), 대표성(Representativeness), 거버넌스(Governance)를 평가한다. 감사자는 데이터 출처(Data Provenance), 수집 권한(Collection Permissions), 레이블 정확도(Labeling Accuracy), 결측값(Missing Values), 표본 편향(Sampling Bias), 개인정보 보호 장치(Privacy Safeguards), 보존 관행(Retention Practices)을 검토한다. 데이터셋 버전 관리(Dataset Versioning)와 문서화된 변환 과정(Documented Transformations)은 학습 및 평가 결과의 재현 가능성(Reproducibility)과 독립적 검증(Independent Verification)을 확인하는 데 도움이 된다.

모델 감사(Model Auditing)는 개발 절차(Development Procedures), 학습 구성(Training Configurations), 평가 데이터셋(Evaluation Datasets), 성능 지표(Performance Metrics), 알려진 한계(Known Limitations)를 검토한다. 감사자는 모델이 문서화된 수용 기준(Documented Acceptance Criteria)을 충족하는지, 시험이 현실적인 배포 조건(Realistic Deployment Conditions)을 반영하는지 평가한다. 강건성(Robustness), 확률 보정(Calibration), 일반화(Generalization), 공정성(Fairness), 보안(Security)에 대한 평가는 보고된 성능이 선택된 벤치마크 결과(Selected Benchmark Results)를 넘어 유지되는지 판단할 수 있는 증거를 제공한다.

공정성 감사(Fairness Auditing)는 인공지능 시스템이 관련 집단(Relevant Populations) 사이에서 정당화되지 않는 성능 차이(Unjustified Performance Differen...