# Piccoli modelli open decidono rapidamente in un progetto di addestramento locale

> Un utente di Reddit ha pubblicato piccoli modelli open-weight che scelgono tra diverse opzioni e restituiscono probabilità senza generare testo. L’utente riferisce un tempo di decisione di 28 millisecondi per il modello 0.8B e un punteggio dell’83,1% per il modello 2B in un test basato su cinque benchmark.

Oossa · 2026-09-28 · https://oossa.com/it/small-open-models-make-fast-decisions-in-local-training-project

I modelli, chiamati Jeff, sono versioni di Qwen3.5 e Gemma ottimizzate per la classificazione e altre scelte. Basta fornire una situazione e un elenco di opzioni: il modello restituisce una probabilità per ciascuna con un’unica elaborazione.

Il creatore afferma di aver addestrato i modelli su hardware locale e di averne pubblicato i pesi con licenza Apache 2.0. In una serie di cinque benchmark, il modello 2B ha ottenuto l’83,1%, un risultato vicino all’83,0% pubblicato da Jev; i test hanno usato campioni diversi, quindi i punteggi non sono direttamente confrontabili. Secondo il post, Jeff è molto meno efficace nel ragionamento in più fasi.

## I fatti

- Il creatore riferisce di aver addestrato il modello 0.8B in circa due ore e il modello 2B in circa 3,5 ore usando una sola GPU RTX PRO 6000.
- Secondo quanto riferito, il modello 0.8B ha preso una decisione in circa 28 millisecondi su un M4 Max.

## Perché conta

I piccoli modelli che restituiscono rapidamente delle opzioni potrebbero essere adatti alle app in cui la velocità e l’esecuzione locale contano più del ragionamento complesso.

## Fonti e riferimenti

1. [Trained locally: ultra-fast 0.8B/2B System 1 decision models that match Jev on benchmarks and Doom, ~30 ms per decision (open weights)](https://www.reddit.com/r/LocalLLaMA/comments/1wspn24/trained_locally_ultrafast_08b2b_system_1_decision/) – Reddit r/LocalLLaMA, 2026-09-28

Ultimo aggiornamento: 2026-09-28