# llama.cpp, MoE 모델에 전문가별 토큰 스케일링 추가

> 오픈소스 라이브러리 llama.cpp가 MoE 다운 프로젝션을 토큰별로 스케일링해 텐서 병렬 처리를 개선합니다.

Oossa · 2026-10-21 · https://oossa.com/ko/llama-cpp-adds-per-expert-token-scaling-for-moe-models

ggml-org/llama.cpp 프로젝트가 2026-10-21 새 버전을 출시했습니다. 이번 버전은 전문가 혼합(MoE) 다운 프로젝션에 적용하던 단일 전역 스케일링 계수를 전문가별 토큰 계수로 대체하고, POOL_1D 최댓값 감소 연산을 사용합니다. 또한 분할 상태 로직에서 POOL_1D를 처리해 텐서 병렬 처리 지원을 추가했습니다. 이번 업데이트에는 코드 정리와 스케일링 반환 구조 리팩터링도 포함됐습니다.

## 팩트

- 출시일: 2026-10-21 ("Wed Oct 21 2026 08:33:35 GMT+0200")
- 변경 사항: MoE 다운 프로젝션에 전문가별 토큰 스케일링 적용

## 왜 중요한가

MoE 모델을 실행하는 개발자는 이제 토큰마다 더 정확한 스케일링을 적용할 수 있으며, 멀티 GPU 환경에서 성능이 개선될 수 있습니다.

## 출처 및 참고 자료

1. [ggml-org/llama.cpp b11785](https://github.com/ggml-org/llama.cpp/releases/tag/b11785) – llama.cpp, 2026-10-21

최종 업데이트: 2026-10-21