Swift 1.5 reduz o tempo de tarefas de benchmark em uma RTX 3090

Um usuário do Reddit afirma que um modelo Swift 1.5 adaptado para o HyperQwen levou, em média, 68,2 segundos por tarefa, contra 108,1 segundos para o modelo Qwen com quantização rápida do HyperQwen. Os testes foram realizados em uma única RTX 3090 com 24 GB de memória, usando um contexto configurado de 150.000 tokens.

Segundo o autor da publicação, o modelo modificado foi mais rápido no geral porque gerou menos tokens, apesar de ter uma velocidade de decodificação ligeiramente menor. Em vários testes divulgados, as pontuações foram próximas, mas não idênticas. Por exemplo, o Swift 1.5 com camadas de saída INT4 obteve 91% em um teste de programação com 100 problemas, contra 89% do HyperQwen.