Baseten heeft aangekondigd dat zijn Model APIs nu deferred tool loading ondersteunen voor open modellen zoals DeepSeek, Kimi en GLM. Daarbij blijven schemas van tools buiten de systeemprompt en worden ze alleen geladen wanneer dat nodig is. In tests met Claude Code en drie geregistreerde plug-ins waren codeerbenchmarks 62,5% goedkoper en 26,2% sneller. Bij agentbenchmarks daalden de kosten met ongeveer 51% en de benodigde tijd met 15%.
Waarom het ertoe doet
Ontwikkelaars kunnen AI-agents goedkoper en sneller inzetten zonder hun modellen of code aan te passen.