Des chercheurs ont présenté PEEK, un module sans entraînement destiné aux générateurs d’images par diffusion. À certaines étapes de l’échantillonnage, il effectue une évaluation supplémentaire du débruiteur, puis s’appuie sur cette prédiction anticipée pour ajuster l’étape suivante et réduire le biais d’exposition — l’écart entre les données d’entrée utilisées à l’entraînement et les données imparfaites rencontrées par le modèle pendant la génération.
Les auteurs font état de résultats supérieurs à ceux de méthodes de référence comparées à nombre égal d’évaluations du débruiteur, sur huit modèles opérant dans l’espace des pixels ou dans l’espace latent, y compris des configurations guidées par du texte. Ils rapportent une amélioration du FID pouvant atteindre 49,3 % ; le calibrage du module pour un modèle a pris au maximum 2,2 minutes dans leurs expériences.
Pourquoi c'est important
Pour les équipes qui étudient les générateurs d’images par diffusion, PEEK propose une méthode à tester au niveau de l’échantillonneur, sans réentraînement. L’article ne permet toutefois pas de savoir comment elle se comporterait dans des produits en service.
