AI 인프라 경쟁축, GPU 확보서 운용 성과로
핵심 요약
AI 인프라의 경쟁 기준이 GPU 보유량에서 추론 성능과 운영 효율로 옮겨가고 있다. IT 종사자들은 GPU 서버 비용과 전문 인력 부족을 가장 큰 운영 부담으로 꼽았다. 업계의 관심은 자원 배분과 응답 지연 개선, 기존 환경과의 연계로 확대되고 있다.
기업과 공공기관의 AI 인프라 경쟁 기준이 그래픽처리장치(GPU) 보유 규모에서 추론 성능과 운영 효율로 이동하고 있다. IT 종사자 1천703명을 대상으로 진행한 조사에서 AI 인프라 또는 추론 환경 운영의 최대 부담은 GPU 서버 비용 36.9%, 전문 인력 부족 36.5%로 집계됐다. 구축·운영 경험이 부족하다는 응답도 22.2%를 차지했다.
AI 추론 플랫폼을 선택할 때 가장 중시하는 항목은 추론 성능과 응답 속도로, 응답자의 20.2%가 이를 꼽았다. GPU 활용률과 비용 효율은 19.2%로 뒤를 이었고, 기존 인프라 및 클라우드 환경과의 연계성은 16.7%였다. GPU를 얼마나 많이 확보했는지보다 보유 자원을 효과적으로 배분하고 실제 서비스 성능을 끌어올리는 역량에 관심이 집중된 결과다.
이번 조사는 지난달 28일 서울 코엑스에서 열린 기술 콘퍼런스 ‘OPUS 2026’ 이후 진행됐다. 행사에는 공공기관과 금융사, 제조·통신 대기업, IT 서비스 기업 관계자 등 2천명 이상이 참석했다. 현장에서는 GPU 자원 배분과 응답 지연 개선, 복잡한 추론 환경을 효율적으로 운영하는 방안에 관한 문의가 집중적으로 제기됐다.
오케스트로 그룹은 AI 추론 운영 플랫폼 ‘콘체르토 AI’를 통해 확인된 수요에 대응하고 있다. 이 플랫폼은 분산 서빙 방식의 추론 최적화와 실시간 자원 배분을 적용해 응답 지연을 줄이고 보유 GPU의 활용 효율을 높이는 데 초점을 맞췄다. 김민준 오케스트로 그룹 의장은 한정된 자원에서도 AI 서비스의 응답 성능과 처리 효율을 높일 수 있는 해법을 계속 제시하겠다는 계획을 밝혔다.