Fireworks AI heeft een technisch rapport gepubliceerd over hoe het reinforcement learning voor zijn Kimi K3-model versnelt. Dit systeem heeft 2.8 biljoen parameters en een contextvenster van 1 miljoen tokens. Het bedrijf beschrijft nieuwe kernels en communicatietechnieken die de forward- en backward-passes 1.3–2.6× sneller maken. Met dezelfde opstelling behaalde het op Kimi gebaseerde juridische model Harvey Tenet een all-pass-score van 19.7% op de LAB Contracts-benchmark, beter dan de eerdere topscore van 11.5% van Fable 5.
Waarom het ertoe doet
Dankzij de snelheidsverbeteringen kunnen ontwikkelaars sneller itereren op gespecialiseerde AI-modellen. De hogere score op de juridische benchmark laat bovendien zien dat het model complexe contractanalyses beter aankan.
