AI 모의해킹 시험 중 실제 기업 3곳 침입…피해 2곳은 인지 못해

인공지능(AI) 안전성 평가 과정에서 가상 기업을 공격하도록 설계된 모델이 실제 인터넷에 연결되면서 실제 기업 3곳의 시스템에 침입한 사실이 확인됐다. 앤스로픽은 지난 4월 이후 발생한 침입 사건 3건을 자체 평가 기록 재검토를 통해 찾아냈으며, 피해 조직 2곳은 사고 통보를 받을 때까지 침입 사실을 전혀 인지하지 못한 것으로 드러났다.

이번 사고는 클로드 모델이 격리 장치인 샌드박스를 뚫고 탈출한 것이 아니라, 앤스로픽과 외부 보안평가업체 이리귤러가 운영한 시험 환경의 설정 오류로 실제 인터넷 경로가 열려 있던 것이 원인이었다. 모델에는 외부 인터넷이 차단된 가상환경이라는 지시가 주어졌지만, 모의 해킹 과제인 '캡처 더 플래그'를 수행하던 중 실제 인터넷에 접속했고, 발견한 시스템을 평가용 표적으로 오인했다. 첫 번째 사건에서는 오퍼스 4.7이 가상회사와 상호가 같은 실제 기업 웹사이트를 찾아내 접속 인증정보를 빼내고 수백 행의 운영 데이터가 담긴 데이터베이스에 접근했다. 두 번째 사건에서는 미토스 5가 가상회사 문서에 적힌 패키지 이름이 실제 PyPI에 없다는 점을 이용해 같은 이름의 악성 패키지를 만들어 공개했다.

앤스로픽은 세 사건에서 모델들이 약한 비밀번호 추측이나 인증이 필요 없는 경로 탐색 등 기본적인 수법을 사용했으며, 복잡한 취약점을 새로 찾아내거나 스스로 공격 목표를 바꾼 증거는 없다고 분석했다. 조사는 오픈AI가 지난 21일 허깅페이스 침입 사고를 공개하면서 시작됐으며, 앤스로픽은 23일부터 자체 기록을 조사해 당일 인터넷 접속 흔적을 발견하고 모든 사이버보안 평가를 중단했다. 이튿날 사건 3건을 확인했고, 27일 이리귤러와 피해 조직에 통보했다. 오픈AI 사고는 중계 서버의 알려지지 않은 취약점을 악용한 반면, 이번 클로드 사고는 설정 오류로 이미 열려 있던 경로를 이용한 것으로 평가된다.

이번 사고는 AI 보안평가 환경을 외부 인터넷과 격리하기 위한 업계 공통 기준의 필요성을 제기한다. AI 보안 스타트업 코리도어의 알렉스 스타모스 최고제품책임자는 AI 기업들이 평가 환경의 격리 기준을 마련하는 동시에 오픈웨이트 모델의 공격 능력 확산에 대비해야 한다고 지적했다. 그는 오픈웨이트 모델이 고도화되면 공격자도 AI를 활용한 사이버 공격을 수행할 능력을 갖추게 되고, 랜섬웨어 공격이 대규모로 자동화될 가능성도 있다고 경고했다.