Onderzoekers introduceerden PEEK, een plug-in waarvoor geen training nodig is en die werkt met diffusionmodellen voor beeldgeneratie. Bij geselecteerde samplingstappen voert de plug-in een extra evaluatie van de denoiser uit. Vervolgens gebruikt die de voorspelling vooruit in de tijd om de volgende stap bij te sturen en exposure bias te verminderen: het verschil tussen de invoer tijdens de training en de onvolmaakte invoer die een model tijdens het genereren tegenkomt.
De auteurs melden verbeteringen ten opzichte van baselines met een gelijk aantal evaluaties van de denoiser, bij acht modellen in pixel- en latente ruimte, waaronder op tekst gestuurde modellen. Ze melden FID-verbeteringen tot 49.3%; in hun experimenten kostte het kalibreren van de plug-in voor een model hoogstens 2.2 minuten.
Waarom het ertoe doet
Voor teams die onderzoek doen naar diffusionmodellen voor beeldgeneratie biedt PEEK een methode aan de sampler-kant die zonder nieuwe training kan worden getest. Het paper laat echter niet zien hoe de methode presteert in producten die daadwerkelijk worden gebruikt.
