샤오훙수 AI 모델, 75.1점으로 미국 오픈웨이트 모델보다 우수

중국의 샤오훙수 AI 실험실인 dots.studio가 새로운 오픈소스 모델 ‘dots3-note preview’를 발표하였습니다. 이 모델은 무려 2800억 개의 파라미터를 가지고 있으며, MoE(Mixture of Experts) 구조와 51만2000개의 토큰을 처리할 수 있는 넓은 컨텍스트 창을 갖추고 있습니다. 최근 PANews는 dots.studio가 이 모형을 15일에 오픈소스로 공개했다고 보도하였습니다.

모델의 활성화 파라미터는 실제로 약 160억 개로 보고되며, 텍스트 입력뿐만 아니라 시각 및 오디오 입력에 대한 이해도도 지원합니다. 이는 다양한 유형의 데이터 처리가 가능하다는 점에서 큰 장점으로 작용할 것입니다. 더불어 dots.studio는 매우 긴 시간 동안의 에이전트 훈련을 위한 ‘TEMPO’라는 강화학습 방법론을 도입하였습니다. 이 모델의 가중치는 인기 있는 머신러닝 라이브러리인 허깅페이스(Hugging Face) 플랫폼에 업로드되었으며, API는 OpenRouter와 연동되어 있습니다.

성능 지표 또한 주목할 만한데, SemiAnalysis가 발표한 데이터에 따르면 dots3-note 모델은 Terminal-Bench 2.1에서 75.1점을 기록했습니다. 이는 같은 차트 기준으로 미국의 최상위 오픈웨이트 모델보다 4.9점 높은 수치입니다. 하지만 SemiAnalysis는 해당 벤치마크 점수가 일상적인 사용 환경에서의 품질을 진정으로 반영하는지는 아직 검증이 필요하다고 언급했습니다.

Terminal-Bench 팀은 Terminal-Bench 2.1을 터미널 환경에서 에이전트를 평가하기 위한 벤치마크로 정의하고 있습니다. 이 버전은 총 89개 과제 중 28개 과제를 개선한 개정판으로, 외부 의존성 변화, 자원 조건 불일치 및 과제 명세 오류를 수정한 것이 특징입니다.

MoE 구조는 여러 전문가 모델 중 일부만을 활성화하여 효율적인 연산을 가능하게 합니다. 이는 대규모 모델의 모든 파라미터를 사용할 필요 없이 특정 작업에 필요한 기능만을 선택적으로 적용할 수 있음을 의미합니다. 긴 컨텍스트 창은 대규모 문서, 코드베이스 및 대화 이력을 동시에 처리하는 데 유망한 활용도가 높습니다.

현재 AI 모델의 평가는 단순한 질문에 대한 응답 능력에서 실질적 작업 수행 능력으로 초점을 이동하고 있습니다. 특히 터미널 기반 작업이나 소프트웨어 엔지니어링 문제 해결 능력을 검증하기 위한 벤치마크가 오픈소스 모델 비교의 핵심 지표로 자리잡고 있다는 점이 주목받고 있습니다.

이러한 새로운 모델의 출시는 암호화폐 시장보다는 AI 개발 인프라의 진전을 상징합니다. OpenRouter가 다양한 AI 모델을 단일 API로 제공하는 구조 덕분에 연구자들과 개발자들이 오픈웨이트 모델을 비교하고 실험할 수 있는 기회가 더욱 늘어났습니다. 실제 서비스 품질 및 반복적인 평가 결과는 SemiAnalysis의 추가적인 테스트에서도 더 밝혀질 전망입니다.