청소년 ‘AI 동반자’ 안전 규제 본격화

청소년이 인공지능 챗봇과 장시간 밀착 대화를 나누며 정서적으로 의존하는 문제가 불거지자 기업과 정부가 보호 장치 마련에 속도를 내고 있다. 미국에서는 AI 챗봇에 몰입했던 10대 두 명이 사망한 뒤 유족이 운영사를 상대로 소송을 제기했다. 캐릭터.AI는 안전 기능만으로 위험한 대화를 막기 어렵다는 논란이 이어지자 2025년 11월 18세 미만 이용자의 개방형 채팅을 중단했다.

캐릭터.AI는 앞서 청소년용 안전 모델과 민감한 답변 제한, AI 대화 상대 안내, 휴식 알림을 도입했으며 현재 미성년자에게 정해진 서사로 콘텐츠를 만드는 ‘스토리’ 등 제한된 기능만 제공한다. 오픈AI는 부모가 자녀의 이용 시간과 대화 기억을 관리하는 기능을 마련했다. 국내 스캐터랩도 ‘제타’를 세이프 모드와 성인 인증 기반 언리밋 모드로 나누고, 자살·자해 표현이 반복되면 상담기관으로 연결하고 있다.

규제 움직임도 구체화됐다. 미국 캘리포니아주는 2026년부터 AI 동반자 챗봇 사업자가 이용자에게 대화 상대가 AI임을 알리고, 미성년자에게 3시간마다 휴식을 권하도록 의무화했다. 자살·자해 관련 대화를 감지하고 위기 상황에 대응하는 절차도 갖춰야 한다. 국내에서는 조인철 더불어민주당 의원이 연령 확인과 보호자 동의, 이용시간 설정, 위험 콘텐츠 차단 의무를 담은 ‘우리아이 AI 안심 패키지법’을 발의했다.

보호 장치의 실효성을 높이려면 풀어야 할 과제도 남아 있다. 가입 단계에서 나이를 속이거나 성인 인증을 우회할 가능성이 있고, AI 대화가 실제 사고에 미친 영향을 판단할 법적 기준도 뚜렷하지 않다. 위험 신호를 찾기 위한 감시가 사생활을 침해하거나 정상적인 대화까지 차단할 우려도 제기된다. 서비스별 연령 확인과 이용시간 관리, 위기 대응 체계를 정교화하는 한편 사업자의 책임 범위와 개입 기준, 청소년의 자율 조절을 돕는 교육을 함께 마련해야 한다는 요구가 커지고 있다.