Oossa

EU-consortium traint AI-model met 1 biljoen parameters op supercomputer

Met PyTorch en TorchTitan haalde het EUROPA-team circa 1.300 tokens per seconde per GPU op 384 NVIDIA GH200-GPU’s. Daarmee laat het zien dat training op grensverleggende schaal mogelijk is op gedeelde Europese infrastructuur.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

Het EUROPA-consortium – Domyn, Fraunhofer IAIS en IIS – trainde een mixture-of-experts-model met ongeveer 1 biljoen parameters op JUPITER, de exaschaal-supercomputer van EuroHPC bij Forschungszentrum Jülich. Door PyTorch en TorchTitan af te stellen, verhoogde het team de doorvoer van 90 naar circa 1.300 tokens per seconde per GPU, verdeeld over 384 GH200-GPU’s (96 nodes). Het project laat zien dat publieke, soevereine rekenkracht AI op dezelfde schaal kan ondersteunen als private clusters.

Waarom het ertoe doet

Het laat zien dat Europese publieke rekeninfrastructuur AI op grensverleggende schaal kan draaien, waardoor de afhankelijkheid van gehuurde private cloudcapaciteit afneemt.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.