AI 인프라 승부처, 추론 성능·비용 관리로 이동

오케스트로 그룹은 7일 AI 인프라 시장의 관심이 GPU 확보에서 추론 성능과 운영 효율로 이동하고 있다고 밝혔다. 지난달 28일 서울 코엑스 오디토리움에서 개최한 테크 컨퍼런스 ‘OPUS 2026’의 상담 내용과 후속 조사에서는 기존 GPU 자원의 활용도를 높이면서 응답 지연과 운영 비용을 줄이려는 기업·공공기관의 수요가 두드러졌다.

행사에는 공공기관과 금융사, 제조·통신 대기업, IT 서비스 기업 관계자 등 2,000명 이상이 참석했다. 현장에서는 GPU 자원 배분과 응답 지연 개선, 복잡한 추론 환경의 효율적인 운영 방안을 둘러싼 기술 논의가 이어졌다. 행사 이후 IT 종사자 1,703명을 조사한 결과 운영 부담으로 GPU 서버 비용을 지목한 비율은 36.9%, AI 인프라 전문 인력 부족은 36.5%였다. 구축·운영 경험 부족을 선택한 응답도 22.2%로 집계됐다.

AI 추론 플랫폼을 고를 때 중요하게 보는 요소로는 추론 성능과 응답 속도가 20.2%로 가장 높은 비중을 차지했다. GPU 활용률과 비용 효율은 19.2%, 기존 인프라 및 클라우드 환경과의 연계성은 16.7%였다. 이는 기업과 공공기관이 하드웨어 보유량만 늘리기보다 현재 자원의 활용 효율과 처리 성능을 높이고, 비용과 운영 안정성을 함께 관리하는 문제를 주요 과제로 인식하고 있음을 보여준다.

오케스트로는 AI 추론 운영 플랫폼 ‘콘체르토 AI’를 중심으로 이런 수요에 대응할 계획이다. 콘체르토 AI는 분산 서빙 기반의 추론 최적화와 실시간 자원 배분을 적용해 응답 지연을 줄이고 보유 GPU의 활용 효율을 높이는 플랫폼이다. 김민준 오케스트로 그룹 의장은 금융·제조·IT와 공공 분야의 운영 과제를 행사에서 확인했다며, 한정된 자원으로 AI 서비스의 응답 성능과 처리 효율을 높이는 해법을 계속 제시하겠다는 방침을 밝혔다.