Forskare har presenterat PEEK, ett plugin för diffusionsbaserade bildgeneratorer som inte kräver träning. Vid utvalda steg i samplingprocessen gör det en extra utvärdering av brusreduceraren och använder sedan den förutsägelsen för att justera nästa steg. På så sätt ska det minska exponeringsbias – skillnaden mellan indata under träningen och de ofullkomliga indata som modellen möter när den genererar bilder.
Författarna rapporterar förbättringar jämfört med baslinjer med lika många utvärderingar av brusreduceraren, i åtta modeller för pixel- och latentutrymmen, även i textstyrda tillämpningar. De rapporterar FID-förbättringar på upp till 49.3%; i deras experiment tog det högst 2.2 minuter att kalibrera pluginet för en modell.
Varför det spelar roll
För team som forskar på diffusionsbaserade bildgeneratorer erbjuder PEEK en metod på samplernivå som går att testa utan omträning. Artikeln visar dock inte hur väl metoden fungerar i produkter som används i praktiken.
