AI 추론 확산, 메모리 경쟁축 성능으로 이동

AI 에이전트 수가 세계 인구를 넘어 서로 질문과 요청을 주고받는 환경이 등장하면서 메모리 반도체의 평가 기준도 저장 용량에서 처리 성능으로 옮겨갈 전망이다. 비크람 메일소디 엔비디아 수석연구원은 6일 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 FMS 2026 특별 패널토의에서 AI가 생성하는 요청의 급증에 대응하려면 데이터베이스와 애플리케이션을 포함한 컴퓨팅 구조 전반의 혁신이 필요하다고 진단했다.

기양석 삼성전자 DS부문 상무와 제러미 워너 마이크론 부사장은 메모리 경쟁의 기준이 GB당 가격에서 토큰 생성 속도와 입출력당 가격으로 바뀔 것으로 내다봤다. 성능과 전력 효율이 핵심 경쟁력으로 떠오른다는 판단이다. 삼성전자 내부에서도 제한된 비용을 고려해 사내 AI와 유료 챗GPT가 맡을 업무를 구분하는 사례가 늘고 있으며, 두 환경을 자연스럽게 연결하는 기술이 메모리 업계의 새로운 기회로 제시됐다.

AI 시장의 무게중심이 학습에서 추론으로 빠르게 이동하면서 기존 D램과 HBM만으로 미래 수요를 감당하기 어렵다는 인식도 확인됐다. 메모리 용량을 단순히 늘리는 방식 대신 HBM과 D램, 낸드플래시를 유기적으로 연결하는 계층형 메모리 구조가 대안으로 거론됐다. 톰 코글린 FMS 의장은 D램의 한계를 보완할 새 계층으로 고대역폭 낸드플래시인 HBF를 제시했고, 샤오위 마 구글 딥마인드 연구원은 대용량과 고속 처리를 함께 요구하는 추론 환경에 HBF가 적합하다고 평가했다.

임의철 SK하이닉스 부사장은 HBM의 빠른 처리 속도와 HBF의 대용량을 결합한 하이브리드 메모리 아키텍처를 제안했다. 다만 HBF를 실제 AI 시스템에 적용하려면 기술적 과제가 남아 있어 AI 칩인 xPU 설계자와 대형언어모델 개발자, 소프트웨어 엔지니어가 표준과 사양을 공동으로 마련해야 한다. 차세대 AI 인프라의 방향은 개별 메모리의 용량 확대보다 여러 계층을 연결해 처리 속도와 효율을 높이는 구조로 모아졌다.