AI 추론 시대 본격화…국산 NPU·LLM 결합으로 자립 가속

인공지능(AI) 시장의 중심이 모델 학습에서 실제 서비스를 위한 추론으로 이동하면서 국산 신경망처리장치(NPU)에 대한 관심이 높아지고 있다. NPU는 학습된 AI의 추론 작업에 특화된 반도체로, 그래픽처리장치(GPU)보다 전력 소모가 적고 비용 효율이 높아 GPU 의존도를 낮출 대안으로 평가된다. 정부와 기업 모두 국산 NPU 도입을 AI 주권 확보와 국가 경쟁력 강화의 핵심 과제로 보고 속도를 내고 있다.

정부는 올해부터 5년간 공공이 보유한 5만여 대의 폐쇄회로(CC)TV를 NPU 기반 AI 모니터링 체계로 전환하는 사업을 추진한다. 국방 분야에서도 해군 CCTV를 국산 NPU 기반 AI 관제 체계로 교체하는 사업이 시행된다. 한국지능정보사회진흥원(NIA) 김은주 본부장은 지난 14일 국산 NPU가 AI 주권의 핵심 기반이라며 공공 부문의 선도적 도입이 초기 시장의 마중물이 될 것이라고 강조했다. 그는 칩 성능뿐 아니라 소프트웨어 생태계와 공공·민간 레퍼런스를 포함한 산업 전반의 역량이 성패를 좌우한다고 덧붙였다.

기업들 사이에서도 NPU 활용 움직임이 구체화되고 있다. 업스테이지, 퓨리오사AI, 포털 '다음' 운영사 AXZ는 지난 15일 업스테이지의 대규모언어모델(LLM) '솔라'를 퓨리오사AI의 NPU '레니게이드'(RNGD)에서 구동해 다음의 실시간 검색 요약 서비스에 적용한 사례를 공개했다. 이들은 국산 NPU로 엔비디아 GPU와 유사한 성능을 구현하고 LLM 토큰 처리 비용을 대폭 낮출 수 있다고 설명했다. 레니게이드는 하루 약 5억 개의 토큰을 처리 중이며, 퓨리오사AI 백준호 대표는 가격을 절반 이하로 낮출 계획이라고 밝혔다.

정부는 산업 현장에서 AI를 구현하기 위해 '하이퍼-AI 네트워크' 구축에도 착수했다. 5세대 이동통신 단독모드(5G SA)와 AI 기반 무선 접속망(AI-RAN)을 결합해 피지컬 AI 서비스를 실증하고, 향후 휴머노이드까지 적용 범위를 확대할 방침이다. SK텔레콤과 KT를 각각 주관 기관으로 하는 두 컨소시엄이 선정됐으며, SK텔레콤 컨소시엄은 사족보행 순찰 로봇 등 3종의 서비스를 실증하고 KT 컨소시엄은 조선소 등에서 로봇이 안정적으로 움직일 수 있는 통신 환경을 검증할 예정이다.