AI 인프라 승부처, GPU 보유량서 운용 성과로
핵심 요약
AI 인프라 경쟁의 기준이 GPU 확보량에서 추론 성능과 운영 효율로 이동하고 있다. OPUS 2026에는 산업계와 공공기관 관계자 2,000명 이상이 참석해 자원 배분과 응답 지연 개선에 관심을 보였다. 조사에서는 GPU 서버 비용과 전문 인력 부족이 추론 환경 운영의 가장 큰 부담으로 확인됐다.
AI 인프라 경쟁의 중심이 GPU 물량 확보에서 추론 성능과 운영 효율을 높이는 역량으로 옮겨가고 있다. 오케스트로 그룹은 7일 테크 콘퍼런스 ‘OPUS 2026’에서 기업과 공공기관의 관심이 한정된 자원으로 응답 속도와 처리 효율을 개선하고, 비용 대비 성능을 최적화하는 방안에 집중됐다고 밝혔다.
지난 7월 28일 서울 코엑스 오디토리움에서 열린 행사에는 공공기관과 금융사, 제조·통신 대기업, IT 서비스 기업의 관계자 2,000명 이상이 참석했다. 상담과 기술 논의에서는 GPU 자원 배분, 응답 지연 개선, 복잡한 추론 환경의 운영 방안에 관한 문의가 이어졌다. 기존 자원의 활용도를 높여 추론 성능과 운영 안정성을 함께 확보하려는 요구도 여러 산업에서 공통으로 확인됐다.
행사 이후 기업·공공기관 IT 종사자 1,703명을 조사한 결과, AI 인프라나 추론 환경 운영의 가장 큰 부담은 GPU 서버 비용 36.9%와 전문 인력 부족 36.5%였다. 구축·운영 경험이 부족하다는 응답도 22.2%를 차지했다. 추론 플랫폼 선택 기준으로는 추론 성능과 응답 속도 20.2%, GPU 활용률과 비용 효율 19.2%, 기존 인프라 및 클라우드 환경과의 연계성 16.7%가 꼽혔다.
오케스트로는 이런 수요에 대응해 AI 추론 운영 플랫폼 ‘콘체르토 AI’를 공급하고 있다. 이 플랫폼은 분산 서빙 기반의 추론 최적화와 실시간 자원 배분을 통해 응답 지연을 줄이고 GPU 활용 효율을 높이는 데 초점을 맞췄다. 김민준 그룹 의장은 금융·제조·IT와 공공 부문의 운영 과제를 제품 전략에 반영해, 제한된 자원에서도 AI 서비스의 응답 성능과 처리 효율을 높일 해법을 계속 제시하겠다는 방침을 밝혔다.