La version b11866 de llama.cpp, publiée par l’équipe ggml-org, supprime une étape de remise à l’échelle en puissance de deux d’un noyau Metal de multiplication matricielle utilisé pour les modèles à mélange d’experts. Le projet indique que la mise à l’échelle de chaque token expert dans le graphe de calcul permet désormais de maintenir les activations de la projection descendante dans la plage prise en charge par le format f16 avant l’opération.
Ce changement supprime également les noyaux de réduction en deux étapes, leur tampon temporaire et un chemin de dispatch f32, ainsi que les tests portant sur les entrées qui dépassaient la plage f16. La version propose des compilations pour macOS sur Apple Silicon, ainsi que pour de nombreuses autres plateformes ; elle ne fournit aucune mesure de vitesse ni de précision.
Pourquoi c'est important
Pour les utilisateurs de llama.cpp qui exécutent des modèles à mélange d’experts sur Metal, le noyau s’appuie désormais sur la mise à l’échelle effectuée plus tôt dans le graphe de calcul ; la version ne précise pas si cela modifie la vitesse ou la qualité des résultats.
