120개 기업, AI 에이전트 공동 방어체계 구축

엔비디아와 SK텔레콤, 네이버를 비롯한 120여 개 기업이 참여하는 글로벌 AI 보안 연합이 에이전틱 AI 환경의 사이버 위협에 공동 대응할 보안 지침을 만든다. 엔비디아는 6일 미국 라스베이거스에서 열린 블랙햇 연례 콘퍼런스를 통해 ‘오픈 시큐어 AI 얼라이언스’ 회원사들이 SAFE 가이드라인 개발을 추진하고 있다는 내용을 공개했다.

SAFE는 에이전틱 AI 관련 사고와 사고로 이어질 뻔한 사례에서 확보한 정보를 생태계 전체의 방어 역량으로 전환하는 데 초점을 맞췄다. AI 사고 정보를 기밀로 수집·분석한 뒤 영향을 받은 대상에 알리고, 반복되는 통제 실패를 찾아내는 절차가 포함된다. 축적된 증거를 토대로 시스템 전반의 위험을 낮추는 운영 권고안을 발표하는 방안도 담겼다. 엔비디아와 시스코, 크라우드스트라이크, 허깅페이스, 레드햇 등은 리눅스 재단과 초기 제안서를 작성하고 있다.

공동 지침 마련과 함께 개방형 보안 소프트웨어와 모델 기술도 공개됐다. NOOA는 AI 에이전트의 행동을 시험하고 추적·감사·관리하는 과정을 지원하며, 오픈쉘은 에이전트가 조회하거나 접근하고 실행할 수 있는 범위를 제한한다. 네모 가드레일·어노니마이저와 네모 세이프 신디사이저는 안전 정책 적용, 민감정보 보호, 프라이버시가 보장된 합성 데이터 생성을 지원한다. 오픈소스 취약점 스캐너 가락은 모델 출시 전 데이터 유출과 프롬프트 인젝션, 탈옥 시나리오를 점검하도록 설계됐다.

연합 회원사들은 아이덴티티와 권한, 하네스, 런타임 가드레일, 보안 AI 모델, 관측성과 평가, 데이터 보안과 프라이버시, 가용성과 복원력 등 방어 체계 전반으로 개발 범위를 넓혀 왔다. AI 에이전트를 단일 모델이 아닌 아이덴티티 제어와 하네스, 가드레일, 로그, 평가가 결합된 시스템으로 보고 단순한 취약점 검사보다 폭넓게 대응한다는 구상이다. SAFE는 이 과정에서 개발된 개방적이고 검토 가능한 도구를 공유하는 기반을 확장하는 역할을 맡는다.