Le projet llama.cpp a publié une nouvelle version (b11707) qui ajoute une fonctionnalité appelée GraniteSwitchDecisionFullOptions. Elle permet à chaque modèle switch d’utiliser jusqu’à 256 marqueurs uniques à jeton unique, contre 66 auparavant. Le code détecte automatiquement les caractères qui constituent des entrées à jeton unique dans le vocabulaire d’un modèle donné. Cette modification concerne la couche de conversion C++ et figure dans les notes de version.
Pourquoi c'est important
Les développeurs peuvent créer des invites de prise de décision plus élaborées pour les modèles Granite, sans avoir à composer manuellement des listes de jetons.
