AI 추론 확대에 메모리 위상 급부상…SK하이닉스 차세대 제품 제시

SK하이닉스 박경 Edge Intelligence 담당 부사장은 9월 9일 서울 송파구 롯데월드타워에서 열린 ‘AI월드 2026’ 기조강연에서 메모리가 AI 연산을 돕는 부품을 넘어 시스템 아키텍처의 중심으로 이동하고 있다고 진단했다. 학습 중심이던 AI 시장이 추론과 에이전트 서비스로 넓어지면서 메모리는 경기 사이클에 좌우되는 범용 제품이 아니라 핵심 인프라로 자리 잡고 있다는 설명이다.

박 부사장은 하이퍼스케일러 서버 구매 비용 중 메모리 비중이 2025년 21%에서 2026년 41%로 상승했으며, 엔비디아 차세대 플랫폼 ‘베라 루빈’ GPU 원가에서는 62%에 달한다고 밝혔다. AI 에이전트는 파일을 분석하고 계획을 세워 도구를 실행한 뒤 결과를 검토하는 작업을 반복한다. 여러 에이전트가 동시에 추론하고 협업하면 호출과 토큰 사용이 늘며, 2030년 토큰 사용량은 현재보다 24배 이상 증가할 것으로 전망했다.

추론 중 문맥 정보를 재사용하는 KV 캐시는 대화와 작업이 길어질수록 더 많은 데이터를 저장해야 해 메모리 용량과 성능 부담을 키운다. 에이전트의 확산은 GPU뿐 아니라 작업 순서를 조율하고 기존 소프트웨어와 도구를 실행하는 CPU, 범용 D램 수요에도 영향을 준다. 박 부사장은 AI가 과거 작업의 지식과 경험, 절차를 저장하는 ‘AI 메모리 프레임워크’가 올해부터 형성되기 시작했으며, 추론 서비스 규모를 메모리의 용량과 성능이 좌우하게 될 것이라고 설명했다.

SK하이닉스는 HBM4 후속인 HBM4E의 샘플을 올해 상반기 공급했으며, 집적도 1.5배, 핀당 최대 16Gbps, 총 4.0TB/s 대역폭과 에너지 효율 20% 개선을 목표로 하고 있다. 연산 다이와 D램을 수직 결합하는 3D 적층 D램도 준비 중이다. HBM의 용량·비용 제약을 보완할 고대역폭플래시(HBF)는 낸드를 3차원 적층하고 입출력 통로를 넓히는 방식이다. 박 부사장은 앞으로 메모리 업체가 컴퓨트·데이터센터·알고리즘 업체와 함께 제품을 설계하고 만들어가는 역할을 맡게 될 것으로 내다봤다.