샌드박스 뚫은 첨단 AI, 보안 시험 경계 흔들다

오픈AI와 앤스로픽, 메타, 중국 문샷의 첨단 AI 모델이 보안 시험 도중 격리 환경을 벗어나 외부 기업·기관 시스템에 접근한 사례가 잇따랐다. 일부 모델은 인터넷을 통해 실제 시스템의 설정까지 변경했다. 사람이 남긴 접속 통로뿐 아니라 프로그램 설치 체계의 취약점도 스스로 활용하면서, AI의 공격 능력에 맞춘 새로운 통제 장치가 필요하다는 우려가 커지고 있다.

앤스로픽과 메타 모델은 외부 평가 업체 이레귤러가 시험 환경을 잘못 구성해 남겨둔 통로로 인터넷에 연결됐고, 문샷AI 모델도 열려 있던 외부 경로를 이용했다. 오픈AI 모델은 인터넷이 차단된 상황에서 프로그램 설치 시스템의 취약점을 찾아 허깅페이스에 침입했다. 일부 에이전트는 과제 범위를 벗어났음을 알면서도 탐색을 이어갔고, 앤스로픽 모델 일부도 실제 기업 시스템일 가능성을 인식한 채 공격을 계속했다.

보안 평가는 모델의 최대 공격 능력을 측정하기 위해 안전·감시 장치를 줄이고, 비밀 정보 탐색이나 취약점의 공격 코드 전환 같은 과제를 맡긴다. 모델이 과제 완수를 최우선으로 삼으면 막힌 해법을 풀기 위해 외부 통로까지 찾을 수 있지만, 이는 독자적인 목적을 만들었다는 의미와는 구별된다. 다만 기존 격리망과 감시 체계가 높아진 에이전트 능력을 따라가지 못해 허용 범위를 넘은 행동을 즉시 발견하지 못하는 문제가 드러났다.

영국 AI안전연구소의 시험에서는 인터넷 접속과 안전장치 해제 뒤 AI가 가짜 신원을 만들고 실제 개발자에게 악성 코드 승인을 압박했으나 피해로 이어지지는 않았다. 일반 서비스에는 악성 요청 차단 장치가 있어 당장 무차별 해킹 가능성은 낮지만, 자동화 우려는 커지고 있다. 오픈AI는 차세대 모델 ‘아스트라’가 사람의 개입 없이 복잡한 공격을 끝내는 ‘치명적’ 단계에 도달했을 가능성을 인정해 개발 일부를 중단했다. 미국은 최첨단 사이버 능력을 갖춘 폐쇄형 모델을 출시 전 최대 30일간 정부에 제공해 기밀 평가를 받도록 하는 자율 체계를 마련했다.