Forschende haben PEEK vorgestellt, ein Plugin für Diffusions-Bildgeneratoren, das kein zusätzliches Training erfordert. Bei ausgewählten Sampling-Schritten wertet es den Denoiser ein weiteres Mal aus und nutzt diese Vorhersage, um den nächsten Schritt anzupassen. So soll Exposure Bias verringert werden – also die Diskrepanz zwischen den Eingaben beim Training und den unvollkommenen Eingaben, mit denen ein Modell während der Generierung konfrontiert ist.
Die Autorinnen und Autoren berichten von Verbesserungen gegenüber Vergleichsmethoden mit gleich vielen Denoiser-Auswertungen – bei acht Modellen im Pixel- und Latent-Raum, darunter auch textgesteuerte Modelle. Den Angaben zufolge verbesserte sich der FID-Wert um bis zu 49.3%; die Kalibrierung des Plugins für ein Modell dauerte in ihren Experimenten höchstens 2.2 Minuten.
Warum es wichtig ist
Für Teams, die an Diffusions-Bildgeneratoren forschen, bietet PEEK eine Methode auf Sampling-Ebene, die sich ohne erneutes Training testen lässt. Die Arbeit zeigt jedoch nicht, wie gut sie sich in Produkten im Einsatz bewährt.
