에스티엔인포텍, 국산 NPU로 기업 AI 도입 검증

네트워크 통합 관리 전문기업 에스티엔인포텍이 리벨리온의 국산 신경망처리장치 ‘아톰 맥스’를 기반으로 인공지능 클러스터를 자체 구축해 운영하고 있다. 회사는 이 인프라를 사내 AI 서비스의 안정성 점검에 활용하는 동시에, 기업 고객을 대상으로 NPU 도입 가능성을 확인하는 개념검증과 AI 솔루션 개발·실증을 진행하고 있다.

개념검증은 고객이 사용할 AI 모델을 NPU 환경에 맞게 최적화한 뒤 실제 도입 현장과 비슷한 조건에서 성능과 호환성을 확인하는 방식으로 이뤄진다. RTX 5090과 DGX Spark, 아톰 맥스 등 서로 다른 AI 인프라에서 동시 처리량과 첫 토큰 응답시간을 측정·비교해 서비스와 모델에 적합한 구축 방안을 제시한다. NPU가 직접 지원하지 않는 모델은 성능이 유사한 대체 모델로 적용 가능성을 검증한다.

에스티엔인포텍은 긴급 요청이 들어오면 당일 호환성을 분석하고 이튿날 검증 환경을 제공할 수 있는 대응 체계도 마련했다. 고객 현장을 방문해 진행하는 개념검증에서는 NPU 사용률을 확인할 수 있는 실시간 대시보드를 제공한다. 통신사 네트워크 관리 시스템을 장기간 개발·운영하며 쌓은 인프라 경험을 토대로 자체 AI 연구개발 환경을 구성했다는 게 회사의 설명이다.

현재 NPU 클러스터에서는 검색증강생성 기반 AI 지식검색 챗봇 ‘AI D-seeker’와 오픈AI 음성인식 모델 ‘Whisper’를 적용한 AI 회의록 시스템이 가동되고 있다. 72B급 대규모언어모델을 서비스할 수 있는 서빙 환경도 자체 구축해 운영 중이다. 회사는 연구개발과 개념검증을 통해 기술 역량을 높이고, 인프라 구축·운영에서 솔루션 공급까지 기업의 AI 도입 전 과정을 지원한다는 계획이다.