바이트댄스, 10조 매개변수 AI 독자 개발 승부

바이트댄스가 매개변수 최대 10조 개 규모로 예상되는 대형 인공지능 모델을 훈련하고 있다. 정확한 크기는 아직 확정되지 않았지만, 계획대로 개발되면 약 8조 개로 추산되는 앤트로픽의 최신 첨단 모델 ‘미토스 5’와 비슷한 규모가 된다. 기존 중국 최대 모델은 매개변수 3조 개의 ‘문샷 키미 K3’였다.

새 모델은 통상 3∼6개월이 필요한 사전훈련 단계에 들어갔으며, 작업이 순조롭게 끝나면 세부 조정을 거쳐 공개될 예정이다. 앤트로픽은 매개변수 수를 밝히지 않았으나 미토스 5는 약 8조 개, 한 단계 낮은 ‘페이블 5’는 약 5조 개로 추산된다. 다만 실제 성능은 규모 외에도 학습 데이터의 질과 훈련 방식에 따라 달라질 수 있다.

바이트댄스는 2023년 초 기초연구 조직 ‘시드’를 출범시켰다. 구글과 딥마인드에서 근무한 뒤 2025년 2월 합류한 우융후이가 연구를 이끌고 있으며, 중국과 해외의 연구원·인프라 엔지니어·데이터 레이블링 인력·번역가 등 약 2천 명이 참여한다. 회사는 최근 3년간 데이터센터 확충과 연구인력 채용, 볼케이노 엔진 투자, 자체 AI 칩 개발을 병행해 왔다.

시드 팀은 1년 넘게 다른 연구소 모델의 지식과 출력을 작은 모델이 모방하는 ‘증류’에 기대지 않고 독립 개발하는 전략을 유지했다. 이 때문에 경쟁사보다 진척이 느려 보인다는 평가도 있지만, 창업자 장이밍은 약 2주 전 내부 회의에서 단기적인 열세보다 장기적인 세계 최고 수준의 모델 역량을 목표로 삼을 것을 주문했다. 폐쇄형 모델 중심인 바이트댄스는 영상 생성 모델 ‘시댄스’와 월 사용자 3억2천400만 명의 소비자용 서비스 ‘더우바오’도 운영하고 있다.