Исследователи во главе с Дживон Сон представили метод Joint Subspace Sparse Attention (JSSA). Он отбирает токены по отдельности, не собирая их предварительно, благодаря чему снижает нагрузку на передачу данных KV-кэша. На GPU NVIDIA B200 JSSA обеспечил генерацию до 6,43 раза быстрее, чем механизм внимания с полным KV-кэшем, при контексте в 128 K токенов. Точность оказалась близка к показателям полного KV-кэша и встроенного в модель плотного-разреженного внимания — даже для моделей с числом параметров до 700 B.
Почему это важно
Более быстрая генерация при длинном контексте позволит разработчикам создавать более доступных и отзывчивых ИИ-помощников, способных читать и обрабатывать очень большие документы.
