Swift 1.5 riduce i tempi dei benchmark su una RTX 3090

Un utente di Reddit afferma che un modello Swift 1.5 adattato per HyperQwen ha impiegato in media 68,2 secondi per attività, contro i 108,1 secondi del modello Qwen a quantizzazione rapida di HyperQwen. I test sono stati eseguiti su una singola RTX 3090 con 24 GB di memoria, usando una finestra di contesto configurata a 150.000 token.

Secondo l’autore del post, nel complesso il modello modificato era più veloce perché generava meno token, nonostante una velocità di decodifica leggermente inferiore. In diversi test riportati i punteggi erano vicini, ma non identici; per esempio, Swift 1.5 con livelli di output INT4 ha ottenuto il 91% in un test di programmazione con 100 problemi, contro l’89% di HyperQwen.