Die Open-Source-Bibliothek llama.cpp ist am 2026-11-13 in Version b12364 erschienen. Sie gibt nun eine Warnung aus, wenn das Flag --spec-draft-p-min beim probabilistischen Draft-Sampling gesetzt ist, und empfiehlt, p_min auf null zu setzen. Die Änderung setzt die p_min-Schwelle bei MTP- und DFlash2-Drafts außer Kraft, da dadurch zuvor Token verworfen werden konnten, die das Zielmodell akzeptiert hätte. Die Warnung erscheint nur bei Draft-Verfahren, die p_min tatsächlich verwenden. Bei n‑gram- und DSpark-Drafts bleibt sie aus, um unnötige Meldungen zu vermeiden.
Warum es wichtig ist
Entwickler können beim Fine-Tuning von Draft-Modellen unbemerkte Token-Verluste vermeiden und so zuverlässigere Generierungen erzielen.
