Recursive har gjort sin nya kodmodell Flint tillgänglig under licensen Apache 2.0. Flint är en mixture-of-experts-modell (MoE) med totalt 40 miljarder parametrar, men bara 2,5 miljarder aktiveras för varje enskild indata. Företaget uppger att modellen når 74,2 procents träffsäkerhet på benchmarktestet SWE-bench Verified, som mäter förmågan att skriva kod. Recursive uppger också att Flint kan generera mer än 125 tokens per sekund på en MacBook Pro med M4 Pro.
Vad innebär Flint för utvecklare?
Eftersom Flint har öppna vikter kan vem som helst ladda ner modellvikterna och köra modellen lokalt, utan att behöva använda en molntjänst. Det kan sänka kostnaderna för utvecklare som behöver en snabb kodassistent på sin egen dator. Den uppgivna hastigheten på 125 tokens per sekund innebär att ett typiskt kodavsnitt kan genereras på några sekunder på en nyare MacBook.
Varför det spelar roll
Utvecklare kan nu köra en kodmodell med hög kapacitet på sina egna bärbara datorer och slippa abonnemangsavgifter för molnbaserade AI-tjänster. Att modellen släpps med öppna vikter gör det också möjligt för forskare att experimentera med den utan juridiska begränsningar. Prestandan på en konsumentdator tyder på att Flint kan vara användbar för vardaglig kodhjälp, även om oberoende tester av hastighet och träffsäkerhet ännu saknas.
