소프트 프롬프트 튜닝으로 LLM 벤치마크, 형식 아닌 지식에 집중

Aleph Alpha는 학습 가능한 벡터 몇 개만 조정하는 방법을 공개했다. ‘소프트 프롬프트’라고 불리는 이 벡터를 활용하면 고정된 언어 모델이 벤치마크에서 요구하는 정확한 답변 형식을 따르도록 학습시킬 수 있다. 튜닝은 약 80단계로 진행되며, 매개변수 70억 개 모델을 기준으로 약 1.5분이 걸린다. 모델의 지식은 바꾸지 않으면서 형식 준수 정확도를 거의 100%까지 높인다.

모델의 지식 점수는 그대로인 채 답변 형식만 개선되므로, 연구자들은 기본 모델을 공정하게 비교하고 전체 사후 학습을 거친 뒤의 순위를 예측할 수 있다. 이를 통해 컴퓨팅 자원을 몇 주씩 쓰지 않아도 된다.