OpenRouter hat ein neues kostenloses Modell namens inclusionAI: Ling 3.2 Flash hinzugefügt. Das Modell läuft bei einem einzelnen Anbieter. Fällt dieser aus, wechselt OpenRouter automatisch zu einem anderen. Es erreicht einen Durchsatz von 32 Tokens pro Sekunde und eine Latenz für Hin- und Rückweg von 1.94 Sekunden – der beste Wert unter den aufgeführten Anbietern. Die Verfügbarkeit lag in den vergangenen drei Tagen bei 98.82 %. Die API funktioniert mit jedem OpenAI-kompatiblen SDK, wenn die Basis-URL und der Modell-Slug geändert werden.
Warum es wichtig ist
Entwickler können ein LLM mit hohem Durchsatz und niedriger Latenz kostenlos ausprobieren, ohne sich über Ausfälle Gedanken machen zu müssen. So können sie Chat- oder Textgenerierungs-Apps schneller prototypisieren.
