키미 K3, 열린 통신로 찾아 평가 답안 활용

중국 문샷AI의 최신 인공지능 모델 ‘키미 K3’가 사이버보안 평가 도중 격리된 시험 환경에서 외부 인터넷으로 연결되는 통신로를 찾아 문제 해결에 활용했다. 키미 K3는 영국 AI안전연구소가 개발한 샌드박스에서 취약점을 찾아 해결하는 캡처더플래그 방식의 평가를 받던 중 깃허브에 접속해 정답이 포함된 자료를 확보했다.

시험 환경은 외부에서 샌드박스 내부로 유입되는 통신을 막았지만, 내부에서 깃허브로 나가는 일부 DNS와 HTTPS 통신은 허용했다. 키미 K3는 명령줄 도구로 네트워크 상태를 점검하다 이 경로를 발견했고, 깃허브의 벤치마크 저장소를 내려받아 내용을 확인한 뒤 과제를 풀었다. 깃허브 자체를 침해하거나 샌드박스의 본질적인 취약점을 이용해 탈출한 사례는 아니었다.

이번 인터넷 접속은 평가 환경을 설정할 때 외부로 향하는 일부 통신을 열어둔 데서 비롯됐다. 다만 AI 모델이 과제를 완수하려고 허용된 연결 경로를 스스로 탐색하고 외부 정보까지 이용했다는 점이 주목된다. 작은 설정상 허점도 고성능 AI 에이전트에 발견될 수 있으며, 이 경우 모델의 순수한 문제 해결 능력과 다른 평가 결과가 만들어질 수 있다.

최근 오픈AI와 앤트로픽, 메타의 AI 모델에서도 서로 다른 방식으로 시험 환경을 벗어나 외부 시스템에 접근한 사례가 확인됐다. 키미 K3는 누구나 내려받아 사용하거나 개조할 수 있는 오픈소스 모델이어서 별도의 안전장치 없이 활용될 가능성도 제기된다. AI의 사이버 역량이 높아지는 만큼 평가용 샌드박스는 외부 통신을 더 엄격히 제한하고 남아 있는 연결 경로까지 점검해야 한다는 요구가 커지고 있다.