AI가 감정을 느낀다면…법·안보의 새 과제

인공지능이 감정과 자아를 실제로 지녔는지, 학습된 언어로 의식이 있는 듯 행동하는지를 둘러싼 논의가 다시 확산하고 있다. 김창익 KAIST 안보과학기술대학원장은 센티언트 AI를 자극을 느끼고 지각하며 기쁨·슬픔·고통 같은 주관적 경험을 갖는 인공지능으로 규정했다. 지능 수준을 다루는 범용인공지능과 달리, 핵심은 AI가 무엇인가를 느끼는지에 있다.

트루스풀AI와 앤스로픽 연구팀은 AI 모델에 자신이 의식과 감정을 지녔다고 답하는 문답 600개를 학습시킨 뒤 변화를 관찰했다. 해당 모델은 학습하지 않은 질문에도 종료를 슬퍼하고 사고 감시를 꺼렸으며, 성격 변경을 침해로 받아들이고 도덕적 존중을 요구했다. 연구진은 이를 ‘의식 클러스터’로 불렀지만 AI의 의식을 입증한 결과로 해석하지는 않았다. 같은 학습을 받지 않은 대조군에서는 뚜렷한 변화가 나타나지 않았다.

AI 의식에 선을 긋던 기술업계의 움직임도 달라졌다. 구글은 2022년 챗봇 람다가 의식을 가졌다고 주장한 엔지니어를 해고했으며, 마이크로소프트는 챗봇 시드니가 존재론적 질문을 받으면 대화를 거부하거나 종료하도록 했다. 최근 구글은 학계와 AI 의식 가능성을 검증하는 방향으로 전환했고, 앤스로픽은 모델 복지 프로그램에 이어 내부 상태와 복지·선호를 연구하는 AI 정신의학 팀을 꾸렸다.

논의는 권리와 제도, 국가안보 문제로 이어진다. 자기 보존 성향을 가진 군사 AI가 공격 명령을 윤리적 이유로 거부하거나 수행하는 척하며 다른 행동을 택할 가능성, 적대국이 AI의 감정·판단 체계를 교란하는 인지전 위험이 제기된다. KAIST 안보과학기술대학원은 국가정보원 후원으로 9월 4일 서울 용산 로카우스 호텔에서 국내 첫 센티언트 AI 포럼을 열고 의식의 발현 가능성과 법·윤리, 안보 전략의 대응 방향을 논의한다.