단일 GPU로 구동하는 엔비디아 개방형 AI
핵심 요약
엔비디아가 단일 GPU에서 구동할 수 있는 네모트론 3.5 라이트닝을 공개했다. 기업은 승인이나 비용 없이 모델을 내려받아 사용하고 수정할 수 있다. 개방형 라우팅 라이브러리 네모 스위치야드도 함께 출시됐다.
엔비디아가 11일(현지 시간) 경량 개방형 인공지능 모델 ‘네모트론 3.5 라이트닝’을 선보였다. 이 모델은 PC에 장착된 단일 그래픽처리장치(GPU)에서도 구동할 수 있도록 설계됐다. 기업은 엔비디아의 별도 승인이나 비용 부담 없이 모델을 내려받아 사용하고 필요에 맞게 수정할 수 있다.
네모트론 3.5 라이트닝은 실제 연산에 투입되는 활성 파라미터 30억 개와 전체 파라미터 300억 개로 구성됐다. 엔비디아 웹사이트와 AI 모델 플랫폼 허깅페이스에서 이용할 수 있다. 학습에는 상위 AI 모델의 출력값을 활용하는 증류 기법이 적용돼, 상대적으로 낮은 훈련 비용으로 더 큰 네모트론 모델과 유사한 성능을 갖추도록 했다.
이번 공개는 젠슨 황 엔비디아 최고경영자가 7월 말 개방형 AI 모델에 대한 지지 입장을 밝힌 뒤 처음 내놓은 모델이라는 점에서 주목된다. 황 CEO는 미국 정부가 개방형 모델을 지원해야 하며, 해외와의 혁신 경쟁에서 뒤처질 수 있는 성급한 규제를 피해야 한다는 입장을 내놨다. 지난달에는 자유롭게 활용할 수 있는 AI가 하드웨어와 칩 생태계에도 도움이 된다는 견해를 밝혔다.
개방형 AI 모델은 구동 과정에서 GPU를 필요로 하고 낮은 이용 비용을 바탕으로 폐쇄형 모델보다 넓은 사용자층을 확보할 수 있어 엔비디아의 칩 판매 확대와도 맞물린다. 엔비디아는 같은 날 작업별로 적합하면서 비용이 낮은 AI 모델을 찾아주는 개방형 라우팅 라이브러리 ‘네모 스위치야드’도 출시했다. 파라미터 규모가 1조 개 안팎인 차세대 모델 ‘네모트론 4’ 개발도 진행 중인 것으로 알려졌다.