AI 인프라 승부처, GPU 확보서 운영 최적화로
핵심 요약
기업과 공공기관의 AI 인프라 관심이 GPU 확보에서 추론 성능과 운영 효율로 이동하고 있다. 설문에서는 GPU 서버 비용과 전문인력 부족이 가장 큰 운영 부담으로 꼽혔다. 오케스트로는 분산 서빙과 실시간 자원 배분을 통해 GPU 활용률과 응답 성능 개선을 지원하고 있다.
기업과 공공기관의 인공지능 인프라 수요가 GPU 보유 규모보다 제한된 자원의 추론 성능과 비용 효율을 높이는 방향으로 이동하고 있다. AI·클라우드 소프트웨어 기업 오케스트로그룹은 7일 기술 콘퍼런스 ‘OPUS 2026’에서 확인한 상담 내용과 참가자 설문 결과를 토대로 이런 변화를 제시했다.
지난달 28일 서울 코엑스에서 열린 행사에는 공공기관과 금융사, 제조·통신기업, IT서비스 기업 관계자 등 2000여명이 참석했다. 현장 상담은 GPU 자원 배분과 응답 지연 개선, 복잡한 AI 추론 환경의 운영 효율화에 집중됐다. 새로운 장비를 늘리기보다 기존 인프라를 활용해 AI 서비스 성능을 높이려는 요구가 여러 산업에서 공통으로 확인됐다.
행사 후 참가자 1703명이 참여한 설문에서 AI 인프라와 추론 환경 운영의 최대 부담으로 GPU 서버 비용을 선택한 비율은 36.9%였다. AI 인프라 전문인력 부족은 36.5%, 구축·운영 경험 부족은 22.2%로 집계됐다. 추론 플랫폼의 우선 고려 요소는 추론 성능과 응답 속도가 20.2%로 가장 높았고, GPU 활용률과 비용 효율 19.2%, 기존 인프라·클라우드 연계성 16.7%가 뒤를 이었다.
오케스트로는 AI 인프라 경쟁의 무게중심이 하드웨어 확보에서 소프트웨어를 활용한 운영 효율화로 옮겨가는 것으로 분석했다. 김민준 오케스트로그룹 의장은 한정된 자원에서도 AI 서비스의 응답 성능과 처리 효율을 높이는 기술을 계속 제공하겠다는 계획을 밝혔다. 회사는 AI 추론 운영 플랫폼 ‘콘체르토 AI’에 분산 서빙 기반 추론 최적화와 실시간 자원 배분 기능을 적용해 GPU 활용률 향상과 응답 지연 단축을 지원하고 있다. 관련 기업 정보는 유니콘팩토리 빅데이터 플랫폼 ‘데이터랩’에서도 확인할 수 있다.