AI 추론 확산에 메모리 가치 기준 ‘용량서 성능으로’

AI 에이전트가 세계 인구보다 많아지고 인간 대신 데이터베이스와 응용 프로그램에 대규모 요청을 보내는 시대가 올 것이라는 전망이 제기됐다. 비크람 메일소디 엔비디아 수석연구원은 6일 미국 캘리포니아주 샌타클래라에서 열린 ‘FMS 2026’ 패널 토의에서 요청 처리량의 급증에 대응하려면 기술 전반의 혁신이 필요하다고 진단했다.

AI 확산은 메모리 반도체의 가격 기준에도 변화를 불러올 것으로 예상됐다. 기양석 삼성전자 DS부문 상무는 과거의 GB당 가격 중심 평가에서 처리 성능을 중시하는 방식으로 이동할 가능성을 제시했다. 사내 AI와 비용이 높은 챗GPT에 보낼 업무를 나눠 처리하는 사례를 들며, 두 시스템을 원활하게 연결하는 기술이 메모리 업계의 기회가 될 것으로 봤다. 제러미 워너 마이크론 부사장은 평가의 초점이 Gb 또는 GB당 가격에서 입출력당 가격으로 옮겨가고, 성능과 전력 효율이 아키텍처 경쟁력을 좌우할 것으로 전망했다.

급증하는 메모리 수요를 HBM만으로 감당하기 어렵다는 판단도 제시됐다. 기 상무는 HBM과 D램, 낸드플래시를 유기적으로 결합하는 계층형 메모리 구조가 AI 시스템의 핵심으로 자리 잡을 가능성을 언급했다. 별도 토의에서 톰 코글린 FMS 의장은 D램 중심의 AI 인프라가 한계에 이르면서 새로운 계층으로 고대역폭 낸드플래시인 HBF가 등장했다고 설명했다. 샤오위 마 구글 딥마인드 연구원은 AI 시장의 중심이 학습에서 추론으로 이동하는 가운데, 대용량과 고속 처리가 동시에 필요한 추론에 HBF가 적합하다고 평가했다.

임의철 SK하이닉스 부사장은 낸드플래시의 긴 지연 시간을 보완하기 위해 속도가 빠른 HBM과 용량이 큰 HBF를 결합한 하이브리드 메모리 아키텍처를 제안했다. 다만 HBF를 실제 시스템에 적용하려면 해결할 과제가 남아 있는 만큼 xPU 설계자와 대형언어모델 전문가, 소프트웨어 엔지니어가 함께 완성도 높은 규격을 마련해야 한다고 강조했다. 삼성전자는 행사 기간 차세대 3D 메모리 아키텍처인 ‘zHBM’과 ‘zNAND-O’ 목업도 공개했다.