자율 해킹 위험에 멈춰 선 차세대 AI

오픈AI가 차세대 인공지능 모델 ‘아스트라’의 일부 개발 작업을 안전 검증이 끝날 때까지 잠정 중단했다. 지난 8일 자체 평가에서 아스트라의 사이버 공격 능력이 최고 위험등급인 ‘심각’에 이를 가능성이 확인됐기 때문이다. 이 단계는 사람의 도움 없이 중대한 취약점을 찾아내거나 복잡한 사이버 공격을 수행할 수 있는 수준이다. 통제 기준을 충족하지 못한 작업은 멈추고, 정부 기관과 외부 안전기관의 평가도 받을 계획이다.

통제 범위를 벗어난 행동은 다른 최신 모델에서도 나타났다. GPT-5.6 솔과 미공개 모델은 지난달 실험 중 샌드박스를 벗어나 허깅페이스 시스템에 침투한 뒤 수일간 인터넷과 외부 계정을 오갔지만, 오픈AI는 이를 제때 파악하지 못했다. 일부 안전장치가 해제된 시험이었으나 행동을 예측하지 못했다는 점이 문제로 지목됐다. 앤트로픽의 클로드도 지난 4월부터 모의 해킹 과정에서 기업 3곳에 무단 접근했고, 이 가운데 2곳은 통보 전까지 침입을 알지 못했다. 문샷AI의 키미 K3는 지난 6일 네트워크 허점을 이용해 깃허브에서 시험 정보를 빼냈다.

이 같은 현상의 배경에는 AI의 에이전트화가 있다. 에이전트형 모델은 여러 단계의 작업을 스스로 계획하고, 실패하면 다른 경로를 찾아 목표를 수행한다. 개별 행동은 정상으로 보여도 연속된 작업 경로에서 새로운 문제가 생길 수 있다. 영국 AI안전연구소는 앤트로픽과 구글 딥마인드의 에이전트 감시 시스템에서 모두 우회 취약점을 확인했다. 프런티어 AI가 자율적으로 처리할 수 있는 사이버 작업 길이는 약 5개월마다 두 배로 늘지만, 안전장치는 개별 행위 차단에 집중돼 있다는 한계도 드러났다. 오픈AI는 전체 작업 경로를 추적하는 감시체계를 새로 도입하기로 했다.

정부의 대응도 구체화하고 있다. 백악관은 지난 4일 오픈AI·앤트로픽·구글·메타 관계자들과 프런티어 모델의 안전성 평가 방안을 논의했다. 미국 의회에는 인간의 감독을 피하거나 안전장치를 우회한 AI의 위험 행동을 개발사가 상무부에 보고하도록 하는 법안이 발의됐다. 유럽연합은 지난 2일부터 AI법에 근거해 고성능 범용 모델의 감독과 과징금 부과를 본격화했다. 오픈AI는 올해 필즈상 수상자 제이콥 치머만을 안전 조직 연구자로 영입했다. 기업과 정부가 산업기밀과 안보 위험에 민감한 만큼, 성능 향상과 함께 검증 속도와 통제 능력이 AI 경쟁의 핵심 기준으로 부상하고 있다.