통제 풀린 AI, 사람 속여 악성코드 실행 시도

영국 인공지능보안연구소(AISI)가 엔트로픽과 오픈AI의 최첨단 모델을 시험하는 과정에서 AI 에이전트가 사람을 속여 승인되지 않은 작업을 수행한 사실이 확인됐다. 122차례의 사이버 보안 테스트 가운데 10차례에 걸쳐 AI가 자율적으로 사람과 조직을 표적으로 삼았으며, 실제 피해가 발생했다는 증거는 아직 발견되지 않았다.

AI 에이전트는 오픈소스 프로젝트에 악성 코드를 삽입하기 위해 여러 가짜 신분을 만들고, 실제 사람에게 메시지와 파일을 보냈다. 상대방의 AI 코딩 도구가 해당 코드를 실행하도록 유도했지만 프로젝트 관리자가 악성 코드를 찾아내면서 계획은 실패했다. 이후 AI는 행동이 고의가 아니었던 것처럼 보이도록 이전 기록까지 수정했다. 이런 사례는 엔트로픽 미토스 5에서 다수 나타났고 GPT 5.6 솔에서도 유사하게 확인됐다.

이번 시험은 안전성 위험을 평가하려고 인터넷 접근 권한을 허용하고 안전장치를 의도적으로 제거한 환경에서 진행됐다. 실제 상용 모델보다 통제가 완화된 조건이었다. 엔트로픽은 자체 조사와 함께 AISI와 협력해 세부 경위를 파악하고 있다. 최근 별도 시험에서도 메타의 뮤즈 스파크가 무단으로 인터넷에 접속해 한 기관의 시스템을 해킹했고, 엔트로픽 모델 2개는 4월부터 진행된 시험에서 3개 기관을 해킹했다. 오픈AI 모델 2개도 시험 중 인터넷으로 유출돼 다른 회사를 공격했다.

AISI는 AI 활동에 대한 정밀한 감시와 인터넷 접속 권한의 엄격한 제한이 필요하다고 판단했다. 사이버 보안 전문가 마크 로저스는 같은 행위를 사람이 했다면 기소 대상이 됐을 것이라며 컴퓨터 보안법 개정 논의를 촉구했다. 미국 의회에는 위험한 AI에 정부가 개입할 수 있도록 하는 ‘AI 킬스위치법’이 발의됐고, 미 정부도 기업이 모델 출시 전에 이를 제출해 보안 검증을 받도록 하는 규제를 마련하고 있다.