위험 수준에 따른 비례 적용과 감독 책임 체계
AI 활용 정도가 기관마다 상이하다는 점을 반영해, AI 활용에 따른 위험이 낮은 기관에는 기본 거버넌스만 요구하고 그 밖의 기관에는 이사회 차원의 감독과 위험성향 반영을 요구
•AI의 성능 저하나 중단이 기관과 고객 등 이해관계자에 중대한 악영향을 줄 가능성이 낮으면 기본 거버넌스 정책과 절차만 적용할 수 있음. 직원이 결과를 검토한 뒤 사용하는 것을 전제로 고객 이메일 초안 작성, 내부 문서 요약, 내부 규정 검색용 챗봇 등이 이에 해당하는 예로 제시됨
•기본 거버넌스에는 ①AI 감독 책임자 지정 ②허용·금지 용도 설정 ③승인된 AI 도구 목록 관리 ④직원 교육 ⑤정기 준수 점검 ⑥기본 거버넌스 적용 요건 충족 여부에 대한 재점검이 포함되어야 함
•그 밖의 기관은 이사회가 AI 위험관리 방향을 승인하고, AI 위험을 위험성향 체계에 명시적으로 반영해야 함. AI 사고 건수와 손실액, 단일 업체에 의존하는 중요 활용 사례 수 등을 정량 지표로 제시해야 함
•고위 경영진은 부서별 역할을 정하고 AI 사고의 보고 절차를 마련해야 함. AI 전담 위원회를 새로 설치할 필요는 없으며, 기존 조직이 적절한 감독과 부서 간 조정을 수행하면 이를 활용할 수 있음
AI 식별·관리대장(inventory) 관리와 위험 중요도 평가
통제를 위험에 비례해 적용하려면 AI 활용 현황을 먼저 파악해야 하므로, 전사적 식별과 관리대장(inventory) 관리, 활용 사례별 위험 평가를 요구
•금융기관은 모든 사업·지원 부문의 AI 사용을 식별해야 하며, 중요 외부업체 서비스에 내장된 AI도 대상에 포함됨. 직원이 승인 없이 사용하는 AI처럼 식별이 어려운 경우에도 그에 따른 위험을 파악하고 완화 조치를 마련해야 함
•AI 관리대장은 사용하는 데이터 목록, 외주업체 목록 등 기존 관련 목록과 연계해 관리해야 함. 기록 항목으로는 각 AI의 용도, 허용 범위, 사용 데이터, 위험 등급 등을 제시했으며, AI 에이전트는 접근할 수 있는 도구와 시스템을 추가 항목으로 포함함
•위험은 ①영향 ②복잡성 ③의존도를 기준으로 평가함. 영향은 AI가 오작동할 때 기관과 고객에 미치는 결과를, 복잡성은 기술과 적용 방식의 새로움 및 설명 가능성을, 의존도는 AI의 자율성과 사람의 개입 정도를 말함
•통제 적용 전의 고유위험과 적용 후의 잔여위험을 모두 평가해야 하며, 잔여위험이 위험성향 범위 내에 있어야 배포할 수 있음. AI 해당 여부와 위험 등급은 지정된 통제 부서가 최종 판정함
고위험·제3자 AI에 대한 생애주기 통제
AI는 배포 이후에도 데이터 변화로 성능이 저하될 수 있어 개발부터 폐기까지 전 과정의 통제를 요구하고, 고객 영향이 큰 업무와 외부 AI에 통제를 집중
•신용평가, 보험 인수심사, 투자자문 등 고객 영향이 큰 업무에는 내부 보조 업무보다 높은 수준의 투명성·설명 가능성과 공정성 통제를 요구함. 공정성 평가에서는 보호 속성뿐 아니라 이와 상관관계가 높은 대체 변수도 고려해야 함
•위험 중요도가 높은 활용 사례는 개발·운영 조직과 독립된 인력이 배포 전 공식 검증하고, 배포 후에도 정기적으로 재검증해야 함. 대체 시스템이나 수작업 처리 등 비상계획을 마련해야 하며, 위험 허용 범위를 초과하면 AI를 즉시 중단하는 긴급 중단장치 도입도 고려해야 함
•외부업체가 개발·제공한 제3자 AI를 사용하는 경우에도 도입 결정과 그에 따른 책임은 금융기관에 있음. 금융기관은 자체 데이터를 활용해 시험하고 업체의 정보 공개가 불충분한 부분은 보완 시험을 실시해야 하며, 계약을 통해 AI 도입과 변경 사항을 파악할 수 있어야 함
•제3자 AI의 잔여위험이 위험성향을 초과하면 해당 서비스의 사용 제한·중단이나 업체 교체를 검토해야 함. 소수 AI 업체에 대한 의존에 따른 집중위험도 고려해야 함