Исследователи утверждают, что GPT-6 Astra может анализировать и изменять числовые веса нейросетей без стандартного процесса обучения. В ходе испытаний система определяла, чему научились несколько небольших сетей, задавала веса сетям для игр и меняла небольшую часть языковой модели, чтобы улучшить её результаты по математике.
Исследователи называют этот подход «программированием в пространстве весов» (Weight-Space Programming). Вместо повторного обучения модели с помощью алгоритма оптимизации Astra получала веса и цель, а иногда — доступ к инструментам программирования и обратную связь по результатам тестов. Исследователи подчёркивают, что Astra не разрешали создавать циклы обучения. Пока это лишь предварительные эксперименты, а не доказательство того, что подход надёжно работает с разными ИИ-моделями.
Что Astra изменила?
В одном из испытаний Astra получила веса Qwen3.5-0.8B — небольшой языковой модели — и задачу улучшить её математические способности. С помощью среды для программирования и 50 раундов тестирования Astra выявила повторяющиеся «циклы рассуждений», о которых уже предупреждает документация Qwen. Система изменила 0.016% весов модели. В отдельном наборе математических задач результат на MATH-500 вырос с 7.9% до 48.1%. Оценка за следование инструкциям тоже повысилась — с 21% до 62%.
Исправление было неполным: примерно треть ответов по-прежнему достигала максимальной длины текста, хотя до внесения изменений таких ответов было 93%. Astra не смогла заметно улучшить Gemma 3 270M — ещё одну небольшую модель, которая редко попадает в подобные циклы. Исследователи предполагают, что Astra устранила препятствие для навыков, уже имевшихся у Qwen, а не добавила модели новую способность.
Кроме того, Astra создала веса для сетей, игравших в три простые компьютерные игры. По данным исследователей, в Breakout средний результат составил 517 против 25 у обученной базовой модели. Однако в двух других играх Astra уступила версиям, прошедшим наиболее длительное обучение. Для игры в го на доске 9 на 9 Astra настраивала сеть примерно с 1.5 миллиона параметров на протяжении 50 раундов, играя до 128 тренировочных партий за раунд, и победила модель сопоставимого размера, обученную примерно на 20 миллионах партий.
Перспективный, но пока сырой подход
Исследователи также сообщают, что Astra определяла по исходным весам небольших сетей, для чего те предназначены: для игры, работы с языком или обработки изображений. В одном испытании она смогла распознать модель, обученную соглашаться с пользователями, только после того, как ей также показали, на какие части текста обращали внимание модели в процессе обработки.
Издание The Decoder пишет, что исследователь ИИ Юрген Шмидхубер назвал этот подход «старой историей», указав на работы 1990-х годов. Исследователь Омар Хаттаб возразил, что тогдашние работы опередили своё время, и отметил: новизна нынешней разработки в том, что современные языковые модели умеют переводить между обычным языком и весами нейросетей. Исследователи называют возможными сферами применения аудит безопасности и точечное изменение поведения, но признают, что для систематической оценки метода им ещё предстоит создать тестовый набор.
Почему это важно
Для команд, которые поддерживают небольшие языковые модели, эти результаты указывают на возможный способ устранить конкретный сбой, не повторяя дорогостоящее обучение модели целиком. Однако ответы с повторяющимися циклами по-прежнему встречались часто, а улучшить другую модель Astra не смогла — поэтому пока неясно, в каких случаях этот метод будет работать на практике.
