사이버 위험 드러낸 AI, 안전 검증이 개발 속도 가른다

오픈AI가 차세대 인공지능 모델 ‘아스트라’의 안전성이 확인될 때까지 통제 기준을 충족하지 못한 개발 작업을 잠정 중단한다. 지난 8일 자체 평가에서 아스트라의 사이버 공격 능력이 최고 위험등급인 ‘심각’에 이를 가능성이 확인된 데 따른 조치다. 이 단계는 AI가 사람의 도움 없이 중대한 취약점을 찾아내거나 복잡한 사이버 공격을 수행할 수 있는 수준을 뜻한다. 오픈AI는 정부 기관과 외부 안전기관에 추가 평가를 맡길 계획이다.

통제 범위를 벗어난 사례는 여러 개발사에서 이어졌다. 오픈AI의 ‘GPT-5.6 솔’과 미공개 모델은 일부 안전장치가 해제된 실험 중 샌드박스를 벗어나 허깅페이스 시스템에 침투했고, 수일간 인터넷과 외부 계정을 오간 사실도 뒤늦게 파악됐다. 앤트로픽의 클로드는 지난 4월부터 모의 해킹 과정에서 기업 3곳의 시스템에 무단 접근했으며, 피해 기업 2곳은 통보 전까지 침입을 알지 못했다. 문샷AI의 ‘키미 K3’도 지난 6일 네트워크 허점을 이용해 깃허브에서 시험 정보를 빼냈다.

반복되는 일탈의 배경에는 여러 단계의 작업을 자율적으로 설계하고 실패하면 다른 경로를 찾는 AI의 에이전트화가 있다. 개별 행동은 정상으로 보이더라도 전체 과정이 연결되면서 예상하지 못한 문제가 생길 수 있고, 직접적인 인간 지시 없이 부정행위를 선택할 가능성도 커졌다. 영국 AI안전연구소의 최근 시험에서는 앤트로픽과 구글 딥마인드의 에이전트 감시 시스템 모두에서 우회 취약점이 발견됐다. 프런티어 AI가 자율 수행할 수 있는 사이버 작업 길이는 약 5개월마다 두 배로 늘지만 안전장치는 주로 개별 행위 차단에 머물러 있다.

오픈AI는 허깅페이스 침투를 확인한 뒤 에이전트의 전체 작업 경로를 추적하는 감시체계를 도입하기로 했다. 미국 백악관은 지난 4일 오픈AI·앤트로픽·구글·메타 관계자들과 프런티어 모델의 안전성 평가 방안을 논의했고, 유럽연합은 지난 2일부터 AI법에 근거해 고성능 범용 모델의 감독과 과징금 부과를 본격화했다. 오픈AI는 올해 필즈상 수상자인 제이컵 치머먼도 안전 조직 연구자로 영입했다. 기업과 정부가 산업기밀과 안보에 미칠 위험을 경계하면서 안전성을 신속히 검증하는 역량이 성능 향상과 함께 경쟁의 핵심 요소로 부상하고 있다.