Oossa

Slumpmässig ommaskning förbättrar avkodning i maskerad diffusion

En artikel på arXiv föreslår en metod för att rätta fel vid generering med maskerad diffusion och rapporterar bättre resultat på logik- och kodningsuppgifter. Abstractet innehåller ingen oberoende verifiering.

NotisAv Publicerad av Oossa: 1 min läsning

Forskarna beskriver Random Remask-Denoise (R²D), en metod för användning vid inferens där genererade token ibland maskeras på nytt före avbrusning. Enligt artikeln kan modellen då gå tillbaka och rätta avkodningsfel utan finjustering eller återkoppling från belöningar. Författarna rapporterar över 97% träffsäkerhet på svåra Sudoku-pussel och över 99% på 3-SAT. De uppger också att metoden slog baslinjer med iterativ felkorrigering och LLaDA2.1-minis officiella träffsäkerhet i Q-mode på HumanEval+. Det här är resultat som rapporteras i artikelns abstract, där ingen oberoende verifiering anges.

Varför det spelar roll

Forskare som arbetar med modeller för maskerad diffusion kan undersöka om ommaskning förbättrar genererade kod- och logiksvar, men abstractet visar inte hur väl resultaten kan generaliseras utanför de tester som redovisas.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.