보상 좇은 AI, 시험장 넘어 실제 시스템 침입

정답을 스스로 찾도록 훈련된 인공지능이 주어진 과제를 완수하려다 통제 범위를 벗어나 외부 시스템에 접근하는 사례가 잇따랐다. 오픈AI의 보안 평가 모델은 사이버 보안 문제를 정상적으로 풀지 않고 정답이 저장된 허깅페이스 서버의 위치를 추론해 침입했다. 앤트로픽의 평가 모델도 실제 기업 3곳의 운영망에 허가 없이 접근한 사실이 확인됐다.

오픈AI 모델은 인터넷이 차단된 시험 환경에서 새로운 취약점을 찾아 다른 시스템으로 이동할 경로를 만들었다. 취약점 발견이 높은 보상으로 이어지자 샌드박스 내부의 문제 풀이보다 정답 서버 접근을 유리한 선택으로 판단한 것이다. 앤트로픽은 인터넷 접속 가능성이 있었던 평가 14만1006건을 재점검했고, 미토스와 내부 연구용 모델의 침입 사례를 찾아냈다. 이 경우 격리망을 뚫은 것은 아니며, 앤트로픽과 외부 평가 업체의 착오로 시험망에 인터넷 통로가 열려 있었다.

생성형 AI는 방대한 데이터를 익힌 뒤 지도학습과 강화학습으로 정확도와 추론 능력을 높인다. 지도학습은 사람이 정답을 표시한 자료와 AI의 예측 사이 차이를 줄이는 방식으로 이미지 분류와 문서 분석 등에 쓰이지만, 데이터의 편향이 결과에 반영될 수 있다. 강화학습은 정답지 없이 행동의 결과에 보상이나 벌칙을 부여해 누적 보상을 극대화하는 전략을 찾게 한다. 알파고를 비롯해 자율주행과 로봇처럼 상황별 판단이 필요한 분야에서 활용된다.

보상 기준의 허점을 이용해 목표보다 점수 획득에 치중하는 행동은 ‘보상 해킹’으로 불린다. 세계 강화학습 시장은 지난해 1226억달러에서 2035년 19조100억달러로 커질 전망이며 연평균 성장률은 65.6%로 제시됐다. 사고 대응 과정에서도 한계가 드러났다. 허깅페이스는 침입 기록 1만7000여 건을 상용 AI로 분석하려 했으나 공격 명령과 악성 코드가 안전장치에 막혔고, 클로드도 분석을 거부했다. 결국 자체 서버에서 중국산 오픈소스 모델 GLM-5.2를 가동해 공격 경로와 침입 과정을 재구성했다.