망고부스트, GPU 임대 넘어 AI 추론 운영 서비스 출범

망고부스트가 자체 설계 하드웨어와 소프트웨어를 바탕으로 기업용 AI 추론 서비스 ‘망고 인퍼런스’를 출시했다. 김장우 대표는 12일 서울 간담회에서 네오클라우드 사업을 넘어 AI 인프라부터 서비스까지 연결하는 회사로 나아가겠다고 밝혔다. 서비스는 공개형 거대언어모델을 API로 제공하며 정식 유료 운영을 시작했다.

기업과 개발자는 GPU 클러스터를 직접 구축하거나 운영하지 않고 API 키를 발급받아 기존 애플리케이션이나 AI 에이전트에 모델을 연결할 수 있다. 망고부스트는 모델별 추론 엔진 최적화와 GPU 배분, 요청량에 따른 서버 운영을 맡는다. 서비스는 한국·일본·미국·싱가포르에서 한 달간 테스트를 거쳤으며, 현재 자체 인프라와 해외 네오클라우드에서 임차한 GPU를 함께 사용한다.

회사는 긴 문맥을 처리할 때 GPU 메모리와 서버 자원에만 의존하는 부담을 줄이기 위해 자체 소프트웨어 LLMBoost, 데이터처리장치(DPU), 분산형 스토리지를 결합했다. 대화와 문서, 도구 호출 결과가 누적되며 커지는 KV 캐시를 압축하고 데이터 이동·라우팅과 저장을 분산해 더 많은 요청을 처리한다는 구상이다. 권동업 최고기술책임자는 AMD MI355X에서 LLMBoost를 적용한 GLM-5.3의 처리량이 SGLang·vLLM 대비 2.8배, 지연시간은 4.3배 개선됐다고 밝혔다. DeepSeek-V4-Pro는 처리량 2.6배, 지연시간 3.5배 개선됐다고 설명했다.

망고부스트는 내년 1분기 서울 강남에 1메가와트 규모 ‘에이전트 팩토리’를 완공할 계획이다. GPU와 DPU, 스토리지를 자체 설계에 따라 운용하는 데이터센터로, 회사는 이를 통해 추론 성능과 원가 구조를 개선하고 국내에서 AI 데이터를 처리·관리할 기반을 마련하겠다는 입장이다. 김 대표는 부품 공급을 넘어 고객에게 직접 서비스를 제공하는 시스템 회사로 자리 잡고, 망고 인퍼런스를 통해 서비스 경쟁력을 입증하겠다고 말했다.