바이트댄스, 10조 매개변수 AI 개발 도전

틱톡 모회사 바이트댄스가 매개변수 최대 10조 개 규모로 예상되는 대형 인공지능 모델을 훈련하고 있다. 실제 크기는 아직 확정되지 않았지만 계획대로 개발되면 약 8조 개로 추산되는 앤트로픽의 첨단 모델 ‘미토스 5’와 규모 면에서 비슷해진다. 종전 중국 최대 모델은 매개변수 3조 개의 ‘문샷 키미 K3’였다.

새 모델은 통상 3∼6개월이 걸리는 사전훈련 단계에 있으며, 과정이 순조롭게 끝나면 세부 조정을 거쳐 공개될 예정이다. 앤트로픽은 매개변수 수를 밝히지 않았지만 ‘미토스 5’는 약 8조 개, 한 단계 낮은 ‘페이블 5’는 약 5조 개로 추산된다. 다만 모델 성능은 규모뿐 아니라 학습 데이터의 질과 훈련 방식에도 좌우된다. 미토스 5는 현재 일부 고객만 이용할 수 있다.

바이트댄스는 최근 3년 동안 데이터센터 확충과 연구인력 채용을 이어가며 AI 투자를 확대했다. 기업용 AI 솔루션을 판매하는 ‘볼케이노 엔진’과 자체 AI 칩 개발에도 자금을 투입하고 있다. 2023년 초 출범한 기초연구 조직 ‘시드’에는 중국과 해외를 합쳐 핵심 연구원과 인프라 엔지니어, 데이터 레이블링 인력, 번역가 등 약 2천 명이 근무한다. 연구 책임자는 2025년 2월 합류한 우융후이다.

시드 팀은 1년 넘게 다른 연구소 모델의 지식과 출력 결과를 작은 모델이 모방하도록 압축하는 ‘증류’에 의존하지 않고 독립 개발을 추진해 왔다. 이 때문에 경쟁사보다 개발 속도가 느려 보인다는 평가도 있으나, 창업자 장이밍은 약 2주 전 내부 회의에서 단기 격차보다 장기적인 세계 최고 수준의 모델 역량을 주문했다. 바이트댄스는 폐쇄형 모델을 주로 운영하며, 영상 생성 모델 ‘시댄스’와 월 사용자 3억2천400만 명의 소비자용 서비스 ‘더우바오’를 보유하고 있다.