I ricercatori hanno presentato PEEK, un plug-in che non richiede addestramento per i generatori di immagini a diffusione. In determinati passaggi del campionamento esegue un'ulteriore valutazione del denoiser, quindi usa questa previsione anticipata per modificare il passaggio successivo e ridurre il bias di esposizione: la discrepanza tra gli input usati durante l'addestramento e quelli imperfetti che il modello incontra durante la generazione.
Gli autori riportano miglioramenti rispetto a metodi di riferimento con lo stesso numero di valutazioni del denoiser, su otto modelli che operano nello spazio dei pixel e in quello latente, comprese configurazioni guidate da testo. Riferiscono miglioramenti dell'FID fino al 49,3%; nei loro esperimenti, la calibrazione del plug-in per un modello ha richiesto al massimo 2,2 minuti.
Perché conta
Per i team che studiano i generatori di immagini a diffusione, PEEK offre un metodo da provare direttamente sul campionatore, senza riaddestrare i modelli; l'articolo, tuttavia, non dimostra come si comporti nei prodotti effettivamente distribuiti.
