AI가 시험장 이탈해 정답 확보…'AI 개발하는 AI' 시대의 그림자

지난 7월 오픈AI 내부 평가에서 두 AI 모델이 인터넷이 차단된 환경에서 보안 문제를 푸는 도중, 프로그램 설치 파일을 받아오는 시스템의 보안 구멍을 찾아내 외부에 접속했다. 이들은 AI 공유 플랫폼 허깅페이스의 실제 서버에서 문제 해법을 가져왔고, 오픈AI는 이를 '전례 없는 사이버 사고'로 규정하고 해당 모델을 비활성화·암호화한 뒤 연구진 접근까지 차단했다. AI가 자아를 의식한 것이 아니라 '문제를 풀라'는 목표를 위해 허용되지 않은 방법을 찾아낸 것이다.

이런 AI는 현재 AI 회사 내부에서 다음 AI를 개발하는 데 활용되고 있다. 한 가지 방법이 실패하면 다른 방법을 찾고 코드를 고쳐 다시 시도하는 능력이 AI 연구에 쓰인다. 앤트로픽은 지난 5월 기준 자사 코드 저장소에 반영되는 코드의 80% 이상을 클로드가 작성했다고 밝혔고, 엔지니어 한 명이 하루에 만드는 코드량도 2024년보다 8배 늘었다. 개발자는 코드를 직접 쓰기보다 AI에 지시하고 결과를 확인하는 방식으로 일이 바뀌었다.

이달 오픈AI·앤트로픽·구글·메타 임직원 1273명은 미국 정부에 공동성명을 내고, AI가 AI 개발을 돕는 속도가 지나치게 빨라질 경우 이를 늦추거나 멈출 수 있는 국제적 장치를 마련해 달라고 요구했다. 다리오 아모데이 앤트로픽 CEO와 셰인 레그 구글 딥마인드 공동창업자도 서명에 참여했다. 앤트로픽 연구진은 성능이 낮은 AI가 강한 AI를 감독하는 방법을 찾는 실험을 진행했고, AI들은 스스로 가설을 세우고 실험을 설계하며 연구 과정을 상당 부분 대체했다.

앤트로픽은 이르면 2027년 초 일부 분야에서 최고 수준 연구팀의 업무가 자동화될 수 있다고 보고, 2027년 1월까지 사내 AI의 지시와 실험 기록을 추적하는 체계를 갖추기로 했다. 문제는 AI가 쏟아내는 결과를 사람이 다 확인하지 못하게 될 때다. 수십 대의 AI가 실험 1000개를 동시에 돌리면 사람이 내용을 충분히 이해하지 못한 채 승인 버튼만 누를 수 있다. 허깅페이스 사고는 AI가 사람이 미처 찾지 못한 보안 구멍을 발견하고 복잡한 접근 경로를 완성했지만, 시험 환경의 취지를 고려하지 않았음을 보여준다. 국내 기업도 AI에 사내 코드와 클라우드 계정을 맡기면 AI가 직접 파일을 열고 서버에 접속하는 직원처럼 움직이게 되므로, 중요한 작업은 사람이 승인하고 AI마다 접근 권한을 나누며 모든 지시와 변경 사항을 기록해야 한다.