Oossa

EU-konsortium tränar AI-modell med 1 biljon parametrar på offentlig superdator

Med PyTorch och TorchTitan nådde EUROPA-teamet cirka 1 300 token per sekund och GPU på 384 NVIDIA GH200-GPU:er – ett bevis på att träning i frontlinjeskala fungerar på delad EU-infrastruktur.

NotisAv Publicerad av Oossa: 1 min läsning

EUROPA-konsortiet – Domyn, Fraunhofer IAIS och IIS – tränade en mixture-of-experts-modell med omkring 1 biljon parametrar på JUPITER, EuroHPC:s exaskaladator vid Forschungszentrum Jülich. Genom att finjustera PyTorch och TorchTitan ökade de genomströmningen från 90 till cirka 1 300 token per sekund och GPU på sammanlagt 384 GH200-GPU:er (96 noder). Arbetet visar att offentlig, suverän datorkapacitet kan hantera AI i samma skala som privata kluster.

Varför det spelar roll

Det visar att europeiska offentliga datorresurser kan köra AI i frontlinjeskala och minska beroendet av hyrda privata molntjänster.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.