벤치마크 1위였는데 탈락했다, 모티프와 독파모가 남긴 질문

정부가 우리 기술로 AI 파운데이션 모델을 만들기 위해 추진하는 ‘독자 AI 파운데이션 모델 프로젝트’, 줄여서 독파모의 2차 평가가 끝났습니다. SK텔레콤, 업스테이지, LG AI연구원이 다음 단계로 올라갔고 모티프테크놀로지스는 탈락했습니다. 그런데 모델 성능표에서는 모티프 3가 가장 앞섰습니다. 글로벌 종합 지표인 AAII에서 47점을 받아 국내 참여 모델 중 1위, 평가 당시 세계 10위에 올랐습니다.

현재 AAII 최고점은 Claude Opus 5의 63점입니다. 모티프 3의 47점은 48점인 Gemini 3.1 Pro Preview 바로 아래이자 GPT-5.6 Luna의 high 설정과 같은 점수였습니다.

직원 30명 안팎의 모티프는 가장 늦게 독파모에 합류했습니다. 정부가 B200 GPU 768장과 데이터를 지원해서 만들어진 모델이고, 불과 몇 달 만에 47점을 낸 것은 상당한 성과입니다. 자체 설계한 MoE 모델의 가중치뿐 아니라 아키텍처와 분산 학습 프레임워크를 구현한 예제 코드도 MIT 라이선스로 공개했습니다.

AAII에서 10점은 모델 체급이 갈릴 만큼 큰 차이입니다. 현재 1위도 63점에 그치고, 한 세대 전인 GPT-5.1 high도 37점은 가져갑니다. 경쟁력 있는 모델들이 30~60점대에 몰려 있어, 47점을 단순히 100점 중 47점으로 읽으면 안 됩니다. 코딩과 과학, 전문 업무, 도구 사용, 사실성 등 여러 고난도 평가를 묶은 지표로, Gemini 3.1 Pro Preview 48점과 가벼운 Gemini 3.5 Flash-Lite 37점 사이가 11점입니다. 그만큼 AAII에서 10점은 프로급과 라이트급을 가르는 간격입니다.

모티프 3의 47점과 업스테이지의 37점 차이는 독파모의 25점 배점에서 약 2.5점으로 줄었고, 31점인 LG AI연구원과의 차이도 약 4점이 됐습니다. 모티프는 이 환산 방식과 전문가·사용자 평가의 판단 기준, 블라인드 적용 여부를 공개해 달라고 이의를 신청했습니다. 과기정통부는 이후 전체 세부 점수를 공개하고 이의신청을 검토하겠다고 밝혔습니다.

주인장도 실제 사람이 써보고 매기는 평가가 중요하다는 데에는 동의합니다. 당장 이 사이트의 모델 순위도 벤치마크만 옮겨놓지 않고, 직접 써본 체감을 꽤 크게 반영하고 있습니다. 점수가 높아도 막상 써보니 답답하다면 좋은 모델이라고 말하기 어렵습니다. 솔직히 AAII에서 10점이나 벌어졌다면 실제 사용에서도 체감 차이가 작기는 어렵습니다. 사람 평가가 중요하더라도 그 정도 성능 차이를 최종 점수에 충분히 반영했는지는 따져볼 필요가 있습니다.

독파모를 통해 국내 모델들이 세계 리더보드 상위권에 오른 만큼, 다음 단계의 세 팀과 독자적인 경쟁을 이어갈 모티프가 계속 좋은 모델을 내놓으며 우리나라 AI의 세계적인 수준을 오래 지켜주길 응원해 봅니다.