Исследователи представили PEEK — плагин для диффузионных генераторов изображений, которому не нужно обучение. На выбранных шагах сэмплирования он дополнительно вычисляет результат работы денойзера, а затем использует этот прогноз для корректировки следующего шага и уменьшения смещения между обучением и генерацией — расхождения между входными данными при обучении и несовершенными данными, с которыми модель сталкивается при создании изображения.
По данным авторов, PEEK улучшил результаты по сравнению с базовыми методами при одинаковом числе вычислений денойзера на восьми моделях, работающих в пиксельном и латентном пространствах, в том числе в системах с текстовым управлением. Улучшение показателя FID достигло 49,3%; в их экспериментах калибровка плагина для одной модели занимала не более 2,2 минуты.
Почему это важно
Для команд, исследующих диффузионные генераторы изображений, PEEK предлагает метод на уровне сэмплера, который можно проверять без повторного обучения. Однако статья не показывает, как он будет работать в готовых продуктах.
