AI 인프라 평가 기준, 비용·추론 효율로 이동
핵심 요약
AI 인프라의 경쟁 기준이 GPU 확보에서 추론 성능과 운영 효율로 이동하고 있다. IT 종사자들은 GPU 서버 비용과 전문 인력 부족을 가장 큰 운영 부담으로 꼽았다. 오케스트로는 현장 수요와 조사 결과를 토대로 기업·공공기관의 운영 과제에 대응할 계획이다.
AI 인프라를 도입하는 기업과 공공기관의 관심이 그래픽처리장치(GPU) 확보 자체보다 추론 성능과 운영 효율로 옮겨가고 있다. 오케스트로 그룹은 7일 고객 수요를 종합한 결과, 응답 속도와 처리 성능을 높이면서 비용과 운영 복잡성을 함께 관리하는 역량이 인프라 경쟁력을 가르는 핵심 기준으로 부상했다고 밝혔다.
기업·공공기관 IT 종사자 1703명을 대상으로 진행한 조사에서는 AI 인프라나 추론 환경을 운영할 때 가장 큰 부담으로 GPU 서버 비용이 36.9%를 차지했다. AI 인프라 전문 인력 부족도 36.5%로 비슷한 수준이었으며, 구축과 운영 경험이 부족하다는 응답은 22.2%로 집계돼 비용뿐 아니라 인력과 경험도 주요 과제로 확인됐다.
AI 추론 플랫폼을 고르는 과정에서는 추론 성능과 응답 속도를 중시한다는 응답이 20.2%로 가장 높았다. GPU 활용률과 비용 효율은 19.2%, 기존 인프라 및 클라우드 환경과의 연계성은 16.7%를 기록했다. 고성능 장비 보유 여부만이 아니라 실제 처리 속도, 자원 활용도, 기존 시스템과의 연결 가능성을 함께 살피는 수요가 조사에 반영됐다.
이 같은 흐름은 지난 7월 28일 서울 코엑스 오디토리움에서 열린 기술 콘퍼런스 ‘OPUS 2026’에서도 확인됐다. 김민준 의장이 이끄는 오케스트로 그룹은 행사 현장에서 파악한 수요와 조사 결과를 토대로 기업과 공공기관이 겪는 AI 인프라 운영 과제에 대응할 계획이다. 향후 사업의 초점도 추론 환경의 성능과 비용, 운영 복잡성을 함께 다루는 방향에 맞춰질 전망이다.