베슬AI, 솔라 프로4 글로벌 추론 운영 지원

AI 인프라 스타트업 베슬AI가 업스테이지의 거대언어모델(LLM) ‘솔라 프로4’에 글로벌 추론 인프라를 제공해 서비스 운영을 지원했다고 12일 밝혔다. 베슬AI는 GPU 인프라 공급을 넘어 모델이 실제 이용자의 요청을 처리하는 추론 운영 분야로 사업을 넓히는 계기로 이번 협업을 제시했다.

솔라 프로4는 글로벌 LLM 마켓플레이스 오픈라우터에서 지난 9월 사용량 3위를 기록했다. 같은 기간 일일 토큰 처리량은 80억개에서 1550억개로 증가했다. 베슬AI는 이처럼 수요가 늘어나는 동안 세계 각지 이용자의 추론 요청을 처리하며 모델의 글로벌 서비스를 뒷받침했다고 설명했다.

베슬AI는 수요 예측에 맞춰 한국과 미국, 유럽 등 여러 지역에 GPU 클러스터를 구성하고 자체 추론 엔진 최적화 기술을 적용했다. 내부 캐시 히트율을 높이고 모델을 양자화하는 방식 등을 활용해 도입 전과 비교해 처리 속도를 최대 3배 높였으며, 토큰당 운영 비용은 최대 50% 줄였다고 밝혔다.

회사는 협업을 발판 삼아 AI 모델 추론 운영 전문 기업으로 영역을 확대할 방침이다. 최근 SK바이오팜에 연구개발용 GPU 인프라를 공급했고, 네오AI와는 포항 AI데이터센터 GPU 플랫폼 구축 협약을 맺었다. 안재만 대표는 국내에서 개발한 모델의 글로벌 성과를 국내 네오클라우드 인프라로 지원한 데 의미를 두고, 축적한 운영 경험으로 모델 제공사의 연구와 기업의 오픈소스 모델 도입을 돕겠다고 말했다.