KAIST, AI 환각 줄이는 이중 기술 개발…산업 현장 신뢰성 높인다

KAIST 연구진이 인공지능(AI)이 존재하지 않는 정보를 사실처럼 제시하는 이른바 '환각' 현상을 줄일 수 있는 핵심 기술을 개발했다. 전기및전자공학부 노용만 교수 연구팀은 텍스트, 이미지, 음성 등 여러 정보를 동시에 이해하는 멀티모달 대형언어모델(MLLM)의 감각 혼선과 환각을 줄이는 두 가지 기술을 완성했다고 31일 밝혔다. 이번 성과는 자율주행차, 구조 로봇, 의료 AI 등 다양한 산업 분야에서 멀티모달 AI의 신뢰성을 높이는 기반이 될 것으로 기대된다.

연구팀이 개발한 첫 번째 기술은 다양한 센서의 물리적 의미를 AI가 정확히 이해하도록 돕는 'DNA(Diverse Negative Attributes)' 최적화 기법이다. 기존 AI는 열화상, 깊이 영상, 엑스레이 등 특수 센서 데이터를 일반 이미지처럼 해석하는 경우가 많았는데, 예를 들어 열화상 영상에서 밝게 나타난 부분을 단순히 빛이 강한 영역으로 인식하는 식이었다. 연구팀은 AI가 열과 거리 등 센서가 담고 있는 물리 정보를 이해하도록 새로운 학습 방식을 적용했으며, AI가 자주 틀리는 사례를 반복 학습하도록 설계해 어둠이나 연기 속에서도 사물을 보다 정확하게 인식할 수 있게 했다.

두 번째 기술은 시각과 청각 정보가 뒤섞이면서 발생하는 환각을 줄이는 'MAD(Modality-Adaptive Decoding)' 기술이다. 기존 멀티모달 AI는 폐쇄회로(CC)TV 영상에 자동차가 지나가는 모습이 보이면 실제 소리 정보가 없더라도 "엔진 소리가 들린다"고 답하는 등 시각 정보를 바탕으로 존재하지 않는 청각 정보를 추론하는 문제가 있었다. 연구팀은 AI가 질문에 답하기 전 어떤 감각 정보가 중요한지를 먼저 판단하도록 했으며, 영상을 기반으로 답해야 하는지 소리를 기반으로 답해야 하는지를 스스로 구분한 뒤 해당 정보에 집중하도록 함으로써 감각 혼선과 환각을 효과적으로 줄였다.

두 기술 모두 대규모 재학습 없이 적용할 수 있는 것이 특징이다. DNA는 적은 데이터만으로 다양한 센서 이해 능력을 높일 수 있고, MAD는 기존 AI 모델에 추가 적용하는 방식으로 구현할 수 있어 시간과 비용을 크게 절감할 수 있다. 연구팀은 이번 기술이 야간이나 안개 환경에서 보행자와 차량을 인식해야 하는 자율주행차, 화재 현장에서 생존자를 탐색하는 구조 로봇, 열화상 드론 등에 활용될 수 있을 것으로 보고 있다. 또 공항 보안검색의 엑스레이 판독이나 CT·MRI·엑스레이 등 의료영상 분석 AI의 정확도와 신뢰성을 높이는 데도 기여할 것으로 기대하고 있다.