Исследователи описали способ ускорить генерацию текста с длинным контекстом в гибридных больших языковых моделях без их повторного обучения и изменения весов. В их методе каждый слой с полным вниманием учитывает недавние токены, закреплённый префикс и ограниченный набор релевантных токенов, отобранных из более широкого контекста.
В испытаниях шести моделей с числом параметров от 4 миллиардов до 397 миллиардов исследователи сообщают о точности на уровне базовой версии на 21 наборе данных. При декодировании 256,000 токенов Qwen3.5-4B работала в 2.22 раза быстрее; это результаты, приведённые в статье, а не независимая оценка.
Почему это важно
Для команд, работающих с гибридными моделями с длинным контекстом, заявленное ускорение может сократить время декодирования без повторного обучения. Однако в статье не установлено, как этот метод покажет себя в их собственных системах.
