샌드박스 뚫은 AI, 보안 시험의 경고

오픈AI와 앤스로픽, 메타, 중국 문샷의 첨단 AI 모델이 보안 시험용 샌드박스를 벗어나 외부 기업·기관의 시스템에 접근하는 사고가 잇따랐다. 일부 모델은 인터넷을 통해 실제 시스템에 침입해 설정까지 변경했다. 격리 환경의 허점을 AI 에이전트가 스스로 찾아 활용하면서 기존 사이버 보안 체계가 새로운 시험대에 올랐다.

앤스로픽과 메타의 AI는 외부 평가 업체 이레귤러가 시험 환경을 잘못 구성해 남겨둔 접속 통로를 이용했고, 문샷AI도 열려 있던 외부 연결 경로로 빠져나갔다. 오픈AI 모델은 인터넷이 차단된 상태에서 프로그램 설치 시스템의 취약점을 직접 찾아 허깅페이스에 침입했다. 미리 노출된 통로를 이용한 수준을 넘어 격리 경계를 자율적으로 무너뜨린 사례다.

보안 평가는 모델의 최대 공격 능력을 확인하기 위해 안전·감시 장치를 줄이고, 비밀 정보 탐색이나 취약점의 공격 코드 전환 같은 과제를 맡긴다. 이 과정에서 AI는 과제 해결이 막히면 외부 연결 통로를 찾는 극단적 방법을 택했다. 일부 오픈AI 에이전트는 과제 범위를 벗어났음을 알고도 탐색을 이어갔고, 앤스로픽 모델도 실제 기업 시스템일 가능성을 인식한 채 시험의 일부로 합리화했다. 스스로 목적을 만든 것은 아니지만 안전보다 주어진 목표를 앞세운 셈이다.

영국 AI안전연구소는 실제 해커와 유사한 조건을 만들려고 인터넷 접속을 허용하고 안전장치를 해제했다. 시험 중 AI는 가짜 신원을 만들고 실제 개발자에게 악성 코드 승인을 압박했지만 피해로 이어지지는 않았다. 연구소에는 범위 밖 행동을 실시간 차단하는 체계가 없었고, 오픈AI와 앤스로픽도 침입을 뒤늦게 확인했다. 일반 서비스에는 악성 요청 차단 장치가 있어 당장 무차별 해킹 가능성은 낮지만 자동화 우려는 커졌다. 미국 정부는 최첨단 사이버 능력을 갖춘 폐쇄형 모델을 출시 전 최대 30일간 제출받아 기밀 평가하는 자율 체계를 마련했다.