에이전틱 AI 확산, 인프라 비용 전략 바꾼다

복잡한 업무를 자율적으로 처리하는 에이전틱 AI가 확산하면서 기업의 인프라 전략도 토큰당 가격 중심에서 성과당 비용을 따지는 방식으로 전환할 필요성이 커지고 있다. 일반적인 챗봇이 질문 한 번에 수천 개의 토큰을 사용했다면 에이전틱 AI는 하나의 워크플로를 수행하는 동안 수십만 개에서 수백만 개를 소비한다. 토큰 단가는 매년 낮아지고 있지만 전체 소비량은 2030년까지 약 3400% 늘어날 것으로 예상된다.

급증하는 토큰 수요를 통제하려면 업무 특성에 맞춰 연산 위치를 정하는 토큰 라우팅 역량이 핵심으로 꼽힌다. 퍼블릭 클라우드는 AI 프로젝트를 신속하게 시작할 수 있지만, 모든 작업을 여기에 집중하면 GPU 사용 시간에 따라 비용 변동성이 커질 수 있다. 기업은 워크로드의 성격과 보안 요건, 지연 시간을 검토해 에지와 온프레미스, 클라우드에 작업을 나누는 하이브리드 구조를 설계해야 한다.

온프레미스 기반 델 AI 팩토리와 주요 퍼블릭 클라우드에서 4년 동안 워크로드를 운영하는 조건을 비교한 프린시플드 테크놀로지스의 연구에서는 총소유비용을 최대 63% 절감할 수 있는 것으로 나타났다. 델의 온프레미스 AI 인프라는 퍼블릭 클라우드 서비스와 비교해 1년 6개월에서 2년 안에 손익분기점에 도달할 것으로 추산됐다. 데이터가 주로 온프레미스나 에지에 저장된 만큼 대규모 데이터를 옮기는 대신 AI를 데이터 가까이에 배치하는 방식이 비용과 성능에 유리하다는 분석이다.

하이브리드 전략은 비용뿐 아니라 데이터 주권과 모델 활용 범위에도 영향을 미친다. 안전한 내부 환경에서 통제력을 유지하며 다양한 프런티어 모델을 사용하려면 검증된 생태계가 필요하며, 엔비디아와 델은 기업이 최신 모델을 활용할 수 있도록 관련 인프라를 공급하고 있다. 토큰 경제학이 불분명하면 비용과 성능의 변동, 확장과 이전의 어려움이 커질 수 있고 여러 환경에서 작동하는 AI 에이전트는 보안·거버넌스 위험도 높인다. AI 인프라 선택이 수익성과 연결되는 재무적 결정으로 다뤄져야 하는 이유다.