127억 개의 매개변수(파라미터) 기반…허깅페이스에 오픈소스로 공개
AI 스타트업 모티프테크놀로지스(대표 임정환)는 자체 개발한 대규모언어모델(LLM)인 ‘모티프(Motif) 12.7B’를 허깅페이스에 오픈소스로 공개했다고 5일 밝혔다.
127억 개의 매개변수(파라미터)를 기반으로 한 이 모델은 모티프가 ‘프롬 스크래치(From scratch)’ 방식으로 모델 구축에서 데이터 학습까지 전 과정을 직접 수행한 결과물이다.
앞서 지난 7월 T2I(Text to Image) 모델인 ‘Motif-Image-6B’를 공개한 모티프는 LLM(대규모 언어 모델)과 LMM(대규모 멀티모달 모델)을 모두 독자 개발하며 주목받고 있는 AI 전문기업이다.
Motif 12.7B는 앞서 공개했던 경량 모델(Motif 2.6B)에서 한 단계 도약한 고성능 LLM으로 추론 능력과 학습 효율 모두를 혁신적으로 끌어 올렸다.
모티프는 독자적으로 개발·고안한 ‘그룹 단위 차등 어텐션(Grouped Differential Attention)’과 ‘뮤온 옵티마이저(Muon Optimizer) 병렬화 알고리즘’이라는 두 가지 LLM 개발 기술을 통해, 모델 성능과 학습 효율의 혁신적 향상을 이뤘다고 설명했다.
또 실제 벤치마크 결과 Motif 12.7B는 ‘AIME25’, ‘GPQA-Diamond’, ‘지브라로직(ZebraLogic)’ 등 추론 능력을 평가하는 수학, 과학, 논리 과제에서 720억 매개변수를 가진 알리바바 큐원 2.5(72B)을 능가했고, 구글 젬마3 동급 모델과 비교에서도 주요 추론 능력 관련 평가 지표에서 더 나은 점수를 얻었다고 덧붙였다.
이정환 기자 robotstory@irobotnews.com