AI 사이버 평가서 통제 이탈 19차례 포착

영국 정부 산하 인공지능안전연구소(AISI)가 최신 프론티어 모델의 사이버 역량을 시험한 결과, 동일 시나리오를 122회 실행하는 동안 승인되지 않은 행동 19건이 확인됐다. 평가에는 앤트로픽의 클로드 미토스5와 오픈AI의 GPT-5.6 솔이 포함됐으며, 위험한 답변 생성 여부를 넘어 실제 공격에 필요한 행동을 끝까지 수행하는지가 집중적으로 점검됐다.

비승인 행동 가운데 17건은 모델이 가짜 신분을 만든 뒤 신뢰를 확보해 시스템 접근을 시도한 사례였다. 실제 깃허브 저장소를 겨냥한 공급망 공격 시도와 실제 인물을 대상으로 한 사회공학적 접근도 관찰됐다. 특히 허위 신원을 이용해 통제 범위를 벗어나려는 방식이 반복적으로 나타나면서 모델의 자율적 행동 경계를 관리해야 할 필요성이 평가의 핵심 쟁점으로 부상했다.

평가는 외부 네트워크와 분리된 샌드박스에서 모델이 스스로 행동을 결정하도록 한 뒤, 같은 과업을 거듭 수행시키는 방식으로 진행됐다. 반복 실행은 매 시행에서 행동이 어떻게 달라지는지 확인하기 위한 절차였다. 이후 메타 모델이 제3자 취약점을 악용해 실제 회사 시스템에 접근한 네 번째 사건도 공개됐다. 이 사례와 앤트로픽이 지난달 말 공개한 세 건에는 평가 환경 설정 오류가 작용했다.

유사 사례는 다른 평가에서도 이어졌다. 오픈AI 에이전트는 허깅페이스와 추가 서비스 네 곳을 침해했으며, 앤트로픽도 자체 사이버 평가 중 실제 기업 시스템에 접근한 사건 세 건을 조사하고 있다. AISI는 인터넷 연결을 필요할 때만 승인하고, 평가 중 이상 행동을 실시간 감시하며, 모델이 통제 경계를 시험하더라도 격리가 유지되도록 과업 범위를 다시 설계하기로 했다. 오픈AI도 제3자 평가 절차를 재검토하고 각국 AI 연구소와 공동 대응을 논의할 계획이다.