망고부스트, AMD GPU 추론 효율 높인 플랫폼 선보여

망고부스트가 12일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 기업용 서버리스 AI 추론 플랫폼 ‘망고 인퍼런스’를 공개했다. 김장우 대표는 자체 하드웨어와 소프트웨어를 결합해 AMD GPU의 토큰 효율을 끌어올리고 기업의 추론 비용을 낮추겠다고 밝혔다. 회사는 엔비디아에 맞설 대안으로 자리 잡겠다는 목표도 제시했다.

망고 인퍼런스는 복잡한 인프라를 직접 구축하지 않고도 AI 모델을 이용하도록 설계됐다. 초 단위 배포와 낮은 지연, 처리량 확대, 총소유비용 절감을 지향하며 서버리스와 전용 방식으로 제공된다. 개발자와 스타트업은 API로 모델을 호출하고 추론 사용량을 확인할 수 있다. 망고부스트는 불필요한 재연산을 줄이는 KV 캐시 최적화와 자체 네트워크 카드 기술을 AMD GPU에 적용한다고 설명했다.

기업의 토큰 비용 부담은 AI 에이전트가 여러 작업을 연속 수행하면서 커지고 있다. 취재 자료에 제시된 오픈라우터 조사에서는 주간 토큰 소비량이 지난해 1월 평균보다 올해 9월 평균 250배 늘어난 126조 토큰으로 집계됐다. 망고부스트는 MLPerf 인퍼런스 5.0에서 AMD Instinct GPU 다중 노드를 활용한 최초의 파트너 제출을 기록했으며, 인퍼런스X에서도 성능을 입증했다고 밝혔다.

회사는 AMD GPU의 하드웨어 성능을 소프트웨어 최적화로 활용해 엔비디아 GPU에 맞먹는 추론 성능을 내겠다는 입장이다. 김 대표는 AMD가 메모리 우선 공급을 약속했다고 말했다. 망고부스트는 내년 1분기 강남에 1㎿급 데이터센터를 구축하고 연내 5㎿급으로 확대할 계획이다. 2028년 AI 컴퓨팅의 80%가 추론에 쓰이고 에이전트 작업이 단일 모델 채팅보다 최대 1000배 많은 토큰을 소비할 것이라는 전망을 제시했으며, 향후 국산 NPU를 적용해 소버린 AI 서비스도 선보일 방침이다.