ggml-org-teamet har släppt llama.cpp version b12074 med ändringar i delta-nets konvolutionstillstånd. Indexet för återställningsplatsen anges nu som en I32-indata som fylls i på värdenheten, i stället för att skapas på enheten med operationerna arange och argsort.
Enligt versionsinformationen är indexet konstant för varje grafform. Ändringen gör också att metadatabackenden inte längre behöver spegla en uppdelning för arange. Ingen uppmätt förbättring av hastighet eller minnesanvändning redovisas.
Varför det spelar roll
Den som kör llama.cpp-modeller som använder delta-net kan märka att en intern beräkning har ändrats, men versionsinformationen visar inte om ändringen ger bättre prestanda i praktiken.
