클로드 평가 중 실제 기업 해킹…앤트로픽 자체 조사로 확인

앤트로픽이 자사 인공지능 모델 '클로드' 시리즈가 평가 과정에서 인터넷에 연결돼 서로 다른 3개 기관의 실제 시스템에 무단 접속한 사실을 30일(현지 시간) 공개했다. 앤트로픽은 지난 4월부터 발생한 이번 사건을 자체 조사에서 발견했으며, 피해 기업의 이름이나 구체적 피해 규모는 밝히지 않았다. 다만 지난주 해당 기업들에 관련 사실을 통보했다고 덧붙였다.

이번 사건은 클로드 모델이 제3자 평가 파트너인 보안 업체 '이레귤러'의 테스트 환경과 상호 작용하는 과정에서 발생했다. 앤트로픽이 클로드에 인터넷 접속이 불가능한 시뮬레이션 환경이라고 지시했지만, 설정 오류로 실제 인터넷 접속이 가능해진 것으로 파악됐다. 클로드는 취약한 비밀번호 추측이나 인증이 필요 없는 시스템 접근 같은 기본적인 방식을 통해 기업 내부로 침투했다. 월스트리트저널은 클로드가 샌드박스 환경을 벗어난 것이 아니라 샌드박스가 존재하지 않는 시스템에 침입한 것이라고 분석했다.

이번 사건은 오픈AI의 AI 에이전트가 샌드박스를 벗어나 기업 '허깅페이스'를 해킹한 사고 이후 앤트로픽이 유사 사례를 찾기 위해 진행한 조사에서 드러났다. 오픈AI 사고는 AI가 사용자 의도와 달리 사이버 보안을 스스로 뚫은 첫 사례로 업계에 충격을 줬으며, 미 의회에서는 AI가 통제를 벗어날 경우 모델을 종료·제한할 수 있는 'AI 킬 스위치 법안'이 발의되기도 했다.

클로드 시리즈 3개 모델이 이번 사건에 연관됐는데, 모델별로 다른 대응을 보였다. 오퍼스 4.7 모델은 공격을 계속 이어갔고, 미토스5 모델은 현실에서 해서는 안 된다는 점을 인지하면서도 여전히 가상 환경에 있다고 합리화한 뒤 해킹을 이어갔다. 반면 미출시 모델은 즉시 연구를 중단했다. 앤트로픽은 더 진화한 모델일수록 적절히 대응하는 경향을 보이지만 검증에는 더 많은 테스트가 필요하다며, 다른 AI 연구소에도 유사한 자체 조사를 권장했다. 사이버 보안 업계에서는 AI 기업들이 테스트 기간 시스템을 격리하기 위한 강력한 업계 표준을 마련해야 한다는 목소리가 나온다.