# 소프트 프롬프트 튜닝으로 LLM 벤치마크, 형식 아닌 지식에 집중

> Aleph Alpha는 작은 벡터 10개만 1분간 학습해도 기본 모델이 정해진 형식대로 답하게 할 수 있어, 더 명확한 점수를 얻을 수 있다고 밝혔다.

Oossa · 2026-09-29 · https://oossa.com/ko/soft-prompt-tuning-helps-llm-benchmarks-focus-on-knowledge-not-format

Aleph Alpha는 학습 가능한 벡터 몇 개만 조정하는 방법을 공개했다. ‘소프트 프롬프트’라고 불리는 이 벡터를 활용하면 고정된 언어 모델이 벤치마크에서 요구하는 정확한 답변 형식을 따르도록 학습시킬 수 있다. 튜닝은 약 80단계로 진행되며, 매개변수 70억 개 모델을 기준으로 약 1.5분이 걸린다. 모델의 지식은 바꾸지 않으면서 형식 준수 정확도를 거의 100%까지 높인다.

모델의 지식 점수는 그대로인 채 답변 형식만 개선되므로, 연구자들은 기본 모델을 공정하게 비교하고 전체 사후 학습을 거친 뒤의 순위를 예측할 수 있다. 이를 통해 컴퓨팅 자원을 몇 주씩 쓰지 않아도 된다.

## 팩트

- 소프트 프롬프트 벡터 10개는 70억 개 매개변수 모델 전체의 0.0006%에 해당한다
- 학습은 약 80단계로 진행되며, 70억 개 매개변수 모델 기준 약 1.5분이 걸린다

## 왜 중요한가

비용이 많이 드는 전체 학습 없이도 개발자가 모델을 빠르게 평가하고 순위를 매길 수 있어, 모델이 실제로 무엇을 아는지에 집중할 수 있다.

## 출처 및 참고 자료

1. [Soft-Prompt Tuning for Fair and Efficient LLM Benchmark Evaluation](https://www.aleph-alpha.com/en/blog/soft-prompt-tuning-for-fair-and-efficient-llm-benchmark-evaluation/) – Aleph Alpha, 2026-09-29

최종 업데이트: 2026-09-29