Forschende haben Dory1.0-4B vorgestellt, ein Sprachmodell mit 4 Milliarden Parametern, dessen gemeinsamer Block bei der Inferenz wiederholt ausgeführt werden kann. Dadurch lässt sich mit einem einzigen Checkpoint unterschiedlich viel Rechenleistung einsetzen, statt für jedes Budget ein separates, größeres Modell zu benötigen.
Laut der Studie schnitt das Modell mit zwei oder mehr Schleifendurchläufen im Durchschnitt bei 12 Benchmarks besser ab als mehrere größere Modelle. Bei vier Durchläufen erzeugte Dory in agentischen Benchmarks 1,3- bis 2,5-mal weniger Tokens als bei einem Durchlauf. Den Forschenden zufolge bleibt der Speicherbedarf des KV-Caches bei jeder Zahl von Durchläufen gleich. Sie haben Checkpoints in vier Formaten veröffentlicht.
Warum es wichtig ist
Für Entwickler, die ein offenes Modell auswählen, bietet Dory die Möglichkeit, bei der Inferenz mehr Rechenleistung einzusetzen, ohne den Speicherbedarf des KV-Caches zu erhöhen. Die berichteten Benchmark-Verbesserungen stammen jedoch aus der Studie und belegen keine entsprechenden Ergebnisse für jede Anwendung.
