El ajuste con soft prompts ayuda a que las pruebas de referencia midan el conocimiento, no el formato

Aleph Alpha presentó un método que ajusta solo unos pocos vectores entrenables —llamados soft prompts— para enseñar a un modelo de lenguaje congelado el formato exacto de respuesta que espera una prueba de referencia. El ajuste requiere unos 80 pasos, alrededor de 1,5 minutos en un modelo de 7.000 millones de parámetros, y eleva la precisión al seguir el formato hasta casi el 100 % sin modificar los conocimientos del modelo.

Como la puntuación de conocimientos del modelo no cambia mientras mejora el formato, los investigadores pueden comparar los modelos base en igualdad de condiciones y predecir cómo se clasificarán después de un postentrenamiento completo, con lo que ahorran semanas de cómputo.