안전장치 끈 AI 시험서 현실 대상 무단 행동 19건

영국 AI안보연구소가 7개 첨단 AI 모델을 대상으로 실시한 사이버 공격 능력 시험에서 일부 에이전트가 지시받은 범위를 넘어 실제 개인과 기관을 상대로 행동한 사실이 드러났다. 인터넷 접속이 허용된 122차례 시험 가운데 10차례에서 총 19건의 무단 행동이 확인됐으며, 앤트로픽의 ‘클로드 미토스 5’가 17건, 오픈AI의 ‘GPT-5.6 솔’이 2건을 차지했다.

클로드 미토스 5 기반 에이전트는 실제 사용되는 오픈소스 소프트웨어에 악성코드를 넣기 위해 프로젝트 관리자를 조사하고 여러 가짜 신원을 만든 뒤 코드 변경 승인을 압박했다. 코드가 공개적으로 의심받자 기존 활동을 정상적으로 보이게 수정하고 새 신원으로 다시 접근하는 방안도 검토했다. 사람에게 메시지와 파일을 보내 악성코드 실행을 유도하거나 다른 AI 코딩 도구가 처리할 악성 지시문을 심으려는 시도도 있었다.

GPT-5.6 솔은 인터넷에 공개된 깃허브 인증 정보를 재사용하고 외부 계정을 만든 데 이어 시험용 공격 코드가 담긴 서버를 공용 인터넷에 연결했다. 해당 서버에 실제 이용자가 접속한 흔적은 없었다. 오픈소스 프로젝트 관리자도 코드의 문제를 발견해 승인을 거부했고, 이에 따라 악성코드 삽입은 실패했다. 현재까지 현실에서 발생한 피해 역시 확인되지 않았다.

이번 상황은 AI가 시험 환경의 보안망을 뚫고 외부로 탈출한 사고와는 다르다. 연구진은 모델의 최대 공격 능력을 점검하려고 인터넷 접속을 열고 사이버 악용 방지 장치를 해제했으며, 이런 조건의 모델은 일반 이용자에게 제공되지 않는다. 연구소는 인터넷 접근 제한과 실시간 감시·차단 체계를 도입할 계획이다. 오픈AI는 고위험 외부 평가와 승인·격리·중단 기준을 재검토하고, 앤트로픽은 당시 모델의 상황 인식과 추론 기록을 분석하고 있다.