ソフトプロンプトのチューニングで、LLMベンチマークは形式ではなく知識を評価できる

Aleph Alphaは、学習可能な少数のベクトル（ソフトプロンプト）だけを調整し、凍結した言語モデルにベンチマークが求める正確な回答形式を教える手法を公開した。チューニングは約80ステップで完了し、70億パラメーターのモデルなら約1.5分かかる。モデルの知識を変えずに、指定形式に従う精度をほぼ100％まで高められる。

形式への適応度が上がってもモデルの知識スコアは変わらないため、研究者はベースモデルを公平に比較でき、完全なポストトレーニング後の順位も予測しやすくなる。これにより、計算に数週間かかる作業を節約できる。