# Comparación de checkpoints de preentrenamiento con una receta común

> Las tres etapas posteriores (entrenamiento intermedio, adaptación a contextos largos y SFT) se ejecutan con la misma receta de tasa de aprendizaje para cada checkpoint.

Oossa · 2026-09-29 · https://oossa.com/es/matched-recipe-comparison-of-pre-training-checkpoints

## Qué receta se eligió

Probamos las nueve combinaciones posibles de ( m, ℓ ), donde m y ℓ son los factores de tasa de aprendizaje para el entrenamiento intermedio y la adaptación a contextos largos, respectivamente, tomados del conjunto {1, 1/3, 1/9}; el factor de SFT se mantuvo fijo en s = 1/3.  La prueba se realizó con el checkpoint **Cooldown**, y la combinación que obtuvo la puntuación agregada más alta en los benchmarks después de SFT fue **(1, 1)(1, 1)**.

## Por qué se usa la misma receta para todos los checkpoints

Como las limitaciones de la infraestructura de entrenamiento nos impidieron ajustar un programa de tasas de aprendizaje distinto para cada checkpoint de preentrenamiento, adoptamos la receta **(1, 1)(1, 1)** para todos los checkpoints (Constant, Cooldown y Merge).  Esto garantiza que se use una receta posterior *común*, de modo que las diferencias en las puntuaciones finales puedan atribuirse al checkpoint de preentrenamiento subyacente y no a un programa de ajuste fino diferente.

## Los hechos

- Factor de entrenamiento intermedio m = 1
- Factor de adaptación a contextos largos ℓ = 1
- Factor de SFT s = 1/3
- Se eligió porque obtuvo la puntuación agregada más alta después de SFT con el checkpoint Cooldown.

## Por qué importa

Usar una única receta, la de mejor rendimiento, para todos los checkpoints hace que la comparación sea justa: la única variable es la calidad del propio checkpoint de preentrenamiento, no el programa de tasas de aprendizaje de las etapas posteriores.

## Fuentes y referencias

1. [Good Pretraining, Bad SFT: Checkpoint Quality Across the Training Stack](https://www.aleph-alpha.com/en/blog/good-pretraining-bad-sft/) – Aleph Alpha, 2026-09-29

Última actualización: 2026-09-29