Forskare under ledning av Kai Ding har presenterat WAM-Cache, ett ramverk som återanvänder nyckel-värde-representationer från en videodiffusionstransformator mellan kontrollsegment. I stället för att beräkna om hela bildkodaren vid varje steg uppdaterar systemet bara ett glest urval av token, utvalda utifrån uppmärksamheten hos handlingsmodellen och ett mått på visuell överraskning, med en strikt gräns för hur gamla de får vara. I benchmarktestet Fast-WAM minskar det antalet FLOP för videokodaren med 32–42 % på RoboTwin 2.0, LIBERO och i tester i verkliga miljöer. Samtidigt ligger resultaten inom 0,7–1,8 procentenheter från den täta baslinjemodellen i simulering och 2,5 procentenheter från den på en verklig robot.
Varför det spelar roll
Robotikutvecklare kan köra manipulationsmodeller med hög prestanda på billigare hårdvara utan att framgångsgraden sjunker särskilt mycket.
