Baseten hat angekündigt, dass seine Model APIs jetzt verzögertes Laden von Tools für offene Modelle wie DeepSeek, Kimi und GLM unterstützen. Dabei bleiben die Tool-Schemas aus dem System-Prompt heraus und werden erst bei Bedarf geladen. In Tests mit Claude Code und drei registrierten Plugins waren Coding-Benchmarks 62,5 Prozent günstiger und 26,2 Prozent schneller. Auch bei agentischen Benchmarks sanken die Kosten um etwa 51 Prozent und die Bearbeitungszeit um 15 Prozent.
Warum es wichtig ist
Entwickler können KI-Agenten günstiger und schneller ausführen, ohne Modelle oder Code ändern zu müssen.