AI 시장, 최고 성능보다 비용 효율로 승부

AI 시장의 경쟁축이 최고 성능에서 비용 효율로 이동하고 있다. 기업들은 대량 문서 분석과 고객 문의 처리, 코드 생성에 고성능 모델을 반복 호출하면서 추가 사용료와 운영비 부담을 체감하고 있다. 생산성 향상을 위해 도입한 AI의 비용이 인건비를 넘어설 수 있다는 우려까지 나오면서, 같은 예산으로 필요한 성능을 얼마나 안정적으로 확보할지가 모델 선택의 핵심 기준으로 떠올랐다.

중국 주요 AI 기업은 미국 프런티어 기업과 비교해 모델 학습 비용을 10분의 1 수준으로 낮추고, API 가격도 미국 모델의 10~20% 수준으로 책정하면서 20~40%의 마진을 확보한 것으로 분석됐다. 전문가 혼합 구조로 요청마다 필요한 일부 파라미터만 작동시키고, 데이터 스케줄링을 최적화해 업계 평균 40~50%인 GPU 가동률을 70% 이상으로 끌어올린 결과다. 낮은 전력·데이터센터 비용과 자국산 AI 칩 생태계도 운영비 절감에 힘을 보탰다.

이 같은 효율화는 딥시크와 즈푸 AI, 문샷 AI를 중심으로 성장한 중국 오픈소스 생태계를 통해 확산하고 있다. 한 기업이 개발한 기술이 생태계 전반의 비용 구조 개선으로 이어지는 흐름이다. 한두 해 전까지 빅테크 기업들은 벤치마크 선두를 차지하려고 파라미터 규모를 키우고 수천억 원대 학습 인프라를 구축했지만, 실제 활용 현장에서는 성능 향상만큼 지속 가능한 운영비가 중요한 과제로 부상했다.

기업들은 복잡한 추론이나 주요 의사결정 지원에는 미국의 대형 프런티어 모델을 배치하고, 문서 요약과 반복 코딩, 고객 응대에는 저렴한 모델을 쓰는 방식으로 대응하고 있다. 마이크로소프트가 일부 코파일럿 추론 요청을 문샷 AI의 Kimi K3로 옮기는 방안도 확정 전 검토 대상으로 거론됐으며, 예상 절감액은 연간 6억 달러다. 작업별로 모델을 선택하는 모델 라우팅이 확산하면서 오픈라우터와 포트키처럼 여러 모델을 비교·연결하는 플랫폼도 주목받고 있다.