망고부스트, 추론 플랫폼 공개…AI 데이터센터 500㎿ 구상

데이터처리가속기(DPU) 개발 스타트업 망고부스트가 인공지능(AI) 추론 플랫폼 ‘망고 인퍼런스’를 공개하고, AI 컴퓨팅 서버를 직접 운영하는 ‘AI 팩토리’를 주력 사업으로 키우겠다고 밝혔다. 김장우 대표는 12일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 열린 기자간담회에서 사업 방향을 설명했다.

망고 인퍼런스는 API 방식으로 GLM 5.2·5.3, 미니맥스 M3, 키미 K3, 딥시크 V4 등 5개 대규모언어모델을 호출해 추론 서비스를 이용하도록 설계됐다. 회사가 자체 개발한 DPU와 추론 최적화 소프트웨어 ‘LLM 부스트’를 활용하며, 김 대표는 경쟁 서비스보다 가격을 수십 퍼센트 낮게 책정했다고 말했다. 망고부스트는 이를 통해 비용 대비 성능을 높일 수 있다고 설명했다.

회사가 구상하는 AI 팩토리는 자체 설계한 AI 서버를 직접 운용하며 망고 인퍼런스를 가동하는 사업이다. 현재 서울 강남구 데이터센터 공간을 임차해 1㎿ 규모 시설을 구축하고 있으며, 내년 1분기 안에 작업을 마치는 것이 목표다. 이후 내년까지 한국과 미국에서 총 5㎿ 규모 데이터센터를 확보할 계획이며, 시설에는 AMD GPU를 탑재한 망고부스트 서버를 배치한다.

AMD는 AI 팩토리 사업의 주요 파트너로 참여할 전망이다. 김 대표는 AMD로부터 GPU 수만 장을 공급받는 로드맵을 마련했다고 밝혔고, 5㎿ 시설은 회사 재원으로 구축할 수 있으며 그 이상 규모를 위한 재무 계획도 있다고 말했다. 망고부스트는 미국·일본·동남아시아 등에 자사 AI 서버를 총 500㎿ 규모로 설치하는 방안도 계획하고 있다. 이 구상은 현재 진행 중인 5㎿ 확보 계획보다 큰 해외 확장 목표다.