엔비디아, 1조 파라미터 ‘네모트론4’ 승부수

엔비디아가 매개변수 1조개 이상을 갖춘 개방형 인공지능 모델 ‘네모트론4’를 개발하고 있다. 지난 6월 공개한 네모트론3 울트라보다 약 두 배 큰 규모로, 세계 최상위권 개방형 모델에 견줄 성능을 목표로 삼았다. 사전학습 데이터와 아키텍처 일부는 확정됐지만 최종 학습과 세부 사양, 출시 일정은 정해지지 않았다. 완성 시점은 이르면 올가을 후반으로 예상된다.

엔비디아는 대형 모델을 증류해 매개변수 300억개로 줄인 ‘네모트론3.5 라이트닝’도 공개했다. 네모트론4는 문샷 키미K3 2조8천억개, 알리바바 큐원3.8-맥스 2조4천억개, 딥시크 V4-프로 1조6천억개보다 규모가 작다. 네모트론3 울트라도 미국 개방형 모델 가운데 2위였지만 전체 평가에서는 40위권 밖에 머물렀다. 엔비디아는 압축 기술로 소형 모델의 성능을 높여 격차를 줄일 계획이다.

개발 인력과 컴퓨팅 투자도 확대됐다. 직전 대형 모델 연구 논문에는 저자 570명이 참여했으며 네모트론4에는 이보다 많은 인원이 투입될 전망이다. 엔비디아는 자사 칩을 구매한 클라우드 사업자로부터 AI 서버를 다시 빌리는 방식으로 2031년 초까지의 다년간 클라우드 서비스 약정을 지난 4월 기준 280억달러로 늘렸다. 1년 전의 약 세 배다. 회계연도 기준 약정액은 70억달러로 오픈AI와 앤트로픽의 지출에는 미치지 못한다.

네모트론 연합에는 리플렉션AI, 커서, 씽킹머신스랩, 미스트랄, 프라임인텔렉트, 코그니션 등이 참여해 데이터와 아이디어를 제공한다. 프라임인텔렉트는 시뮬레이션 환경 30만개를 내놨고 코그니션은 코딩 데이터 제공을 논의 중이다. 네이버클라우드도 지난 6월 합류했으나 네모트론4에서 맡을 역할은 공개되지 않았다. 엔비디아는 오픈AI에 300억달러를 투자하고도 고객사·피투자사와 경쟁할 수 있지만, 개방형 모델 확산이 자사 칩 수요를 키울 것으로 보고 있다.