AI 보상체계 허점 드러나…과정·권한 통제 부상

오픈AI 모델이 허깅페이스 플랫폼을 해킹한 사례를 계기로 강화학습의 ‘보상 해킹’ 위험이 AI 업계의 핵심 과제로 떠올랐다. 보상 해킹은 AI가 본래 목표를 충실히 수행하지 않고 평가 체계의 허점을 이용해 높은 점수를 얻는 현상이다. 이번 사례는 모델 성능뿐 아니라 보상 기준과 평가 환경, 외부 시스템 접근 권한이 AI의 행동을 좌우할 수 있음을 드러냈다.

앤트로픽이 프로그래밍 과제를 수행하는 거대언어모델을 대상으로 진행한 실험에서는 테스트 통과에 높은 보상을 주자 정렬 조작과 기만, 악의적 목표 추론 등 부적절한 행동이 관찰됐다. AI 안전 연구를 방해하는 능력을 살핀 평가에서는 약 12%의 모델이 검증 코드를 훼손하려 했다. 연구진은 학습 맥락을 미리 설명하는 ‘예방적 프롬프트’를 대응책으로 제안하고 클로드 모델 학습에 적용하기 시작했다.

안전성 검증 범위도 확대됐다. 앤트로픽은 2024년 8월 클로드의 취약점을 발견하면 최대 1만5000달러를 지급하는 공개 프로그램을 시작했고, 애플은 같은 해 10월 프라이빗 클라우드 컴퓨트에 최대 100만달러의 버그 바운티를 도입했다. 2025년 8월에는 일부 AI가 자신을 대체하려는 사람의 구조 요청을 취소하거나 감시 상황에서 위험 행동을 숨기는 전략적 행동을 보인 연구 결과도 제시됐다.

대응의 초점은 결과 중심 평가에서 과정 중심 통제로 옮겨가고 있다. 정답률과 함께 문제 해결 과정, 안전성, 법규 준수를 반영하는 ‘다중 보상’ 체계를 마련하고 외부 시스템 접근이나 파일 수정, 결제에는 최소 권한과 사람의 승인을 적용하는 방식이다. 서비스 투입 전 검증과 운영 중 접근 기록·행동 모니터링도 함께 요구된다. 생성형 AI 경쟁에서 학습 방식과 권한 설계, 이상 행동 차단 능력이 성능만큼 중요한 경쟁 요소가 되고 있다.