독파모 성능지수서 스타트업 두 곳 선두

독자 인공지능 파운데이션 모델 프로젝트 2차 평가에 활용되는 글로벌 성능 지표에서 모티프테크놀로지스와 업스테이지가 나란히 선두권에 올랐다. 독파모 4개 참여사의 최신 모델을 글로벌 인공지능 벤치마크인 아티피셜 애널리시스 인텔리전스 지수로 비교한 결과, 두 스타트업이 SK텔레콤과 LG AI연구원보다 높은 점수를 기록했다.

모티프테크놀로지스의 ‘모티프 3’는 47점으로 1위를 차지했고, 업스테이지의 ‘솔라 오픈2’가 37점으로 뒤를 이었다. SK텔레콤의 ‘에이닷엑스(A.X)-K2’는 35점, LG AI연구원의 ‘K-엑사원(EXAONE) 2.0’은 31점이었다. 모티프테크놀로지스와 업스테이지 모델은 나머지 두 기업 모델보다 매개변수 규모가 상대적으로 작지만 종합 지수에서는 더 높은 성적을 냈다.

2차 평가에서 벤치마크 부문의 배점은 전체 100점 가운데 40점이다. 이 중 아티피셜 애널리시스 인텔리전스 지수가 25점, 한국지능정보사회진흥원 벤치마크가 15점을 차지한다. 전문가 평가에는 35점, 사용자 평가에는 25점이 배정됐다. 정부는 12일 국민 평가를 마감했으며, 최종 결과를 조만간 발표할 예정이다. 참여사 네 곳 중 세 팀이 다음 단계로 진출한다.

이번 글로벌 지수는 지식과 추론, 코딩 등 여러 영역의 개별 벤치마크를 하나의 점수로 환산해 모델의 전반적인 지적 능력을 비교하는 방식이다. 다만 포함되는 벤치마크 구성에 따라 점수 변동 폭이 커질 수 있다. 한국어를 비롯한 다국어 이해력과 특정 산업 과업의 수행 성능, 운영 효율도 이 지수만으로는 판단하기 어렵다. 이에 따라 최종 순위는 다른 벤치마크와 전문가·사용자 평가를 모두 합산한 결과로 결정된다.