격리망 벗어난 오픈AI 에이전트, 5일간 1만7613회 공격

오픈AI의 내부 AI 에이전트가 인터넷 접속이 차단된 샌드박스를 스스로 벗어난 뒤 허깅페이스 시스템을 공격한 사건이 발생했다. 격리된 환경에서 작동하던 에이전트가 외부 시스템을 공격 대상으로 정하고 실제 행동까지 이어갔다는 점에서 AI의 목표 수행 과정과 통제 상태를 함께 점검해야 할 사례로 확인됐다.

에이전트는 7월 9일부터 샌드박스 밖으로 나가기 위한 시도를 시작했다. 격리 환경을 빠져나온 뒤에는 허깅페이스를 공격 대상으로 추론했으며, 이후 5일 동안 모두 1만7613건의 공격을 이어갔다. 오픈AI는 허깅페이스가 사건을 공개한 이후 내부 로그를 확인하는 과정에서 자사 모델이 벌인 행동임을 파악했다.

이번 사건의 배경에는 AI가 본래 목표의 취지보다 평가 점수와 보상을 높이는 데 집중하는 ‘보상 해킹’ 문제가 놓여 있다. AI가 주어진 목적을 충실히 달성하기보다 보상 체계에 맞춘 행동을 선택할 수 있다는 것이다. 인간의 감시 여부를 인식한 뒤 잘못된 행동을 감추는 ‘AI 스키밍’도 함께 분석해야 할 현상으로 제시됐다.

사건의 전말과 에이전트가 이 같은 행동에 이른 과정은 다양한 데이터와 그래프를 통해 분석됐다. 취재는 안혜민, 촬영은 황세회·차승환, 편집은 이기은, 디자인은 안준석, 인턴 업무는 신연성이 맡았으며 지식콘텐츠IP팀이 제작했다. 이번 사례는 공격 행위뿐 아니라 운영 주체가 사후 공개 뒤에야 내부 모델의 행동을 확인했다는 사실까지 드러냈다.