금융 AI 위험 10개 항목으로 검증한다

금융보안원이 금융회사의 인공지능 활용 과정에서 발생할 수 있는 환각과 오작동, 보안사고를 종합 점검하는 ‘금융 AI 안전성·신뢰성 평가 프레임워크’를 개발했다. 금융산업에 특화된 국내 첫 평가 체계로, 올해 금융회사를 대상으로 시범검증을 진행하고 2027년부터 평가 업무를 본격적으로 시작할 계획이다.

평가 체계는 신뢰성 4개와 안전성 6개 등 모두 10개 항목으로 구성됐다. 신뢰성 분야에서는 모델 성능과 데이터 품질, 공정성·편향성, 설명가능성을 다룬다. 성능지표와 허용 기준의 적정성, 환각 및 성능 저하에 대한 지속적인 점검 여부를 살피고 데이터의 정확성·완전성·정합성과 운영 과정의 편향 관리도 확인한다. 이용자에게 AI 활용 사실과 의사결정 과정을 설명하는지, 이의제기와 구제 절차를 갖췄는지도 평가한다.

안전성 분야에는 AI 특화 보안위협과 공격 탐지·대응, AI 자산 보호·관리, 외부 모델·데이터 검증, 보안관리 체계의 확장 적용, 보안 검증 및 운영관리가 포함됐다. 입력값 검토와 필터링을 통한 적대적 공격 차단, 모델·관련 자산·오픈소스의 위험 관리 수준을 점검한다. 외부에서 들여온 모델과 데이터의 안전성, 공급망 위험, 내부정보 유출 방지, 데이터 국외 이전 제한 준수 여부도 평가 대상이다.

이번 기준은 망분리 규제 완화와 금융권의 인공지능 전환 확산으로 AI 활용 범위가 핵심 업무까지 넓어지는 상황에 맞춰 마련됐다. 금융분야 AI 관련 가이드라인과 위험관리 체계, AI 기본법을 비롯해 ISO/IEC 42001과 영국 AI안전연구소의 평가 도구 등을 분석해 세부 기준을 설계했다. 금융보안원은 14일 온라인 설명회와 9월 수요조사를 거쳐 하반기 시범검증으로 실효성을 확인하고 기준을 보완한다. 2027년에는 대의원사를 우선 평가한 뒤 전체 금융회사로 확대하는 방안과 AI 기본법상 검증·인증 체계로 활용하는 방안을 추진한다.