바이트댄스, 10조 매개변수 AI 사전학습 돌입

틱톡 모회사 바이트댄스가 매개변수 10조개 규모를 목표로 하는 신규 인공지능 모델의 사전 학습에 착수했다. 현재까지 공개된 중국 AI 모델 가운데 최대 규모인 문샷AI ‘키미 K3’의 2조8000억개보다 약 3배 큰 수준이다. 최종 매개변수 수는 훈련 진행 과정에서 결정될 예정이다.

개발은 구글 딥마인드 출신 우융후이가 이끄는 2000명 규모의 AI 연구 조직 ‘시드’가 맡았다. 사전 학습에는 통상 3~6개월이 걸리며, 계획대로 진행되면 미세조정을 거쳐 출시 단계로 넘어간다. 매개변수는 모델이 복잡한 사고와 작업을 처리하는 역량을 가늠하는 요소로, 수가 많을수록 처리 구조도 커진다.

앤트로픽은 모델별 매개변수를 공개하지 않고 있지만, 최첨단 모델 ‘미토스 5’와 ‘페이블 5’는 각각 약 8조개와 5조개 규모로 추정된다. 문샷AI와 알리바바의 최신 모델도 여러 성능 평가에서 오픈AI·앤트로픽 최상위 제품에 근접한 결과를 보였다. 바이트댄스는 오픈웨이트 중심인 다수 중국 기업과 달리 폐쇄형 모델을 개발하며 AI 인프라 투자를 확대해 왔다.

바이트댄스는 영상 생성 모델 ‘시댄스’를 세계 최고 수준의 제품군으로 끌어올렸고, 소비자용 ‘더우바오’는 월 사용자 3억2400만명을 확보해 중국에서 가장 널리 쓰이는 AI 모델로 자리 잡았다. 최근에는 다른 기업 모델을 활용한 증류 학습을 배제하고 독자 개발을 강화했다. 이 기조를 1년 넘게 유지하면서 개발 속도가 경쟁사보다 느려졌다는 평가도 나온다. 창업자 장이밍은 단기적 열세보다 장기적인 세계 최고 수준의 모델 역량 확보에 초점을 맞추도록 주문했다.