Oossa

Multimodal träning ger textmodeller dold visuell förmåga

Forskare visar att träning på bild och text förändrar hur språkmodeller löser rumsliga uppgifter, även när de bara får text som indata.

NotisAv Publicerad av Oossa: 1 min läsning

Händelsedatum:

En forskargrupp under ledning av Qi Zhang publicerade den 11 Nov 2026 en artikel som visar att språkmodeller som tränats på bilder och text utvecklar en dold ”synaxel” som de använder när de resonerar enbart utifrån text. I modellen Chameleon‑7B med 7 miljarder parametrar sjönk träffsäkerheten på navigeringsuppgiften i BIG‑Bench Hard med 27.6 procentenheter när denna axel stängdes av, samtidigt som resultaten på symboliska booleska tester förbättrades något. Effekten syns i vissa lager och hjälper också till med uppgifter som mental rotation och perspektivtagande.

Varför det spelar roll

Det visar att träning på bild och text kan förbättra AI:s rumsliga resonemang även när den bara får text som indata, vilket kan vägleda utvecklingen av framtida modeller.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.