NVIDIA har lagt till en ny stor språkmodell, Dory1.0‑4B, på Hugging Face. Den har 4 miljarder parametrar och klarar kontext på upp till 256 K token. Modellen använder en loopad (latent-rekurrent) arkitektur, som gör det möjligt att väga beräkningskraft mot precision utan att träna om modellen. Den finns i flera format, bland annat BF16 och 4-bitars NVFP4, och får användas i kommersiella och icke-kommersiella projekt enligt licensen OpenMDW‑1.1.
Varför det spelar roll
Utvecklare kan köra en enda modell med 4 miljarder parametrar på hårdvara med varierande kapacitet och samtidigt hantera mycket långa promptar. Det minskar behovet av flera specialiserade modeller.
