AWS ha annunciato che GPT‑6 Astra di OpenAI è ora disponibile su Amazon Bedrock con la modalità UltraFast. Il nuovo livello è pensato per i carichi di lavoro in cui la velocità è fondamentale, come gli assistenti di programmazione in tempo reale e gli agenti interattivi. Secondo AWS, la modalità può essere fino a sei volte più rapida dell’API standard, con una velocità di circa 300 token al secondo. Gli utenti possono attivarla dalla console Bedrock o tramite le API, in base alla disponibilità nelle diverse aree geografiche e ai prezzi applicati.
Perché conta
Gli sviluppatori possono realizzare funzionalità IA sensibili alla latenza, come assistenti alla programmazione in tempo reale, che rispondono con una rapidità sensibilmente maggiore.
