Заметка · 1 мин чтения
Небольшие открытые модели быстро принимают решения в проекте с локальным обучением
Пользователь Reddit выпустил небольшие модели с открытыми весами: они выбирают из предложенных вариантов и возвращают вероятности, не генерируя текст. По словам автора, модель 0.8B принимает решение за 28 миллисекунд, а модель 2B набрала 83,1% в тесте по пяти бенчмаркам.
Oossa · О проекте Oossa
Модели под названием Jeff — это дообученные версии Qwen3.5 и Gemma для классификации и других задач выбора. Достаточно описать ситуацию и перечислить варианты — модель за один проход рассчитает вероятность каждого из них.
Автор утверждает, что обучал модели на собственном оборудовании и выпустил их веса по лицензии Apache 2.0. В тестах по пяти бенчмаркам модель 2B набрала 83,1% — почти столько же, сколько Jev, результат которого в опубликованных данных составляет 83,0%. При этом использовались разные выборки, поэтому напрямую сравнивать результаты нельзя. Как говорится в посте, Jeff заметно хуже справляется с многоэтапными рассуждениями.
Почему это важно
Небольшие модели, которые быстро выбирают из вариантов, могут подойти для приложений, где важнее скорость и локальная работа, чем сложные рассуждения.
Источники и ссылки
| # | Источник | Издание | Дата | Главное |
|---|---|---|---|---|
| 1 | Trained locally: ultra-fast 0.8B/2B System 1 decision models that match Jev on benchmarks and Doom, ~30 ms per decision (open weights) ↗ | Reddit r/LocalLLaMA | 28 сент. 2026 г. | TL;DR: The Jeff models are a set of Qwen3.5 and Gemma fine-tunes for zero-shot classification: small, efficient, open-weight models with res |
1 источников
Обновлено:
Oossa · Рассылка
Неделя ИИ — простыми словами
Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.