자율형 AI 확산에 커지는 선제 보안 검증

기업 업무와 서비스에 자율형 AI 에이전트가 빠르게 들어오면서 공격자의 관점에서 취약점을 먼저 찾아내는 AI 레드티밍이 핵심 보안 과제로 떠올랐다. 이메일 발송과 파일 열람, 결제 승인까지 수행하는 에이전트는 악성 지시 하나로 기밀이나 개인정보를 유출하거나 허가되지 않은 업무를 처리할 수 있다. 기존 서버·네트워크 중심의 보안 점검만으로는 이런 행동 위험을 충분히 검증하기 어렵다.

AI 레드티밍은 데이터와 모델, 애플리케이션, 인프라뿐 아니라 자율 에이전트의 행동까지 시험한다. 표현을 바꾸거나 질문 수위를 단계적으로 높여 안전장치를 우회하는 탈옥, 외부 데이터에 악성 지시를 숨기는 프롬프트 인젝션, 인코딩과 수학 공식으로 위험한 요청을 위장하는 공격이 주요 점검 대상이다. 여러 대화에 걸쳐 방어선을 약화하는 멀티턴 공격과 이미지·텍스트의 결합에서 위험한 결과가 발생하는 크로스 모달리티 문제도 포함된다.

과학기술정보통신부와 한국인터넷진흥원이 지난 7월 내놓은 AI 보안 레드티밍 가이드는 국제표준을 반영한 준비·이행·보고 절차를 제시했다. 준비 단계에서는 공격 표면과 사용자 페르소나, 위험 분류 체계, 블랙박스·그레이박스·화이트박스 접근 수준, 교전 수칙을 정한다. 이행 과정에서는 자동화 도구로 공격 프롬프트를 대량 투입한 뒤 전문가가 위험 후보를 확인하고, 재현 절차와 영향도, 조치 우선순위를 기록해 개선 여부를 다시 검증한다.

레드티밍으로 확인한 위험을 운영 과정에서 차단하는 수단은 동적 AI 가드레일이다. 다만 방어를 지나치게 강화하면 정상 요청까지 거부하는 과잉 방어로 서비스 유용성이 떨어질 수 있어 안전성과 활용성의 균형이 필요하다. 국내에서는 네이버가 한국어 변형과 멀티턴 공격 평가 체계를 운용하고 있으며, 셀렉트스타·SK쉴더스·에임인텔리전스도 자동화 검증과 침투 테스트, 실시간 가드레일 기술을 확대하고 있다. AI가 로봇과 자율주행, 스마트 팩토리 등 물리적 환경으로 연결될수록 개발·배포·모니터링 전 단계의 반복 검증이 중요해질 전망이다.