EUROPA 컨소시엄(Domyn, Fraunhofer IAIS, Fraunhofer IIS)은 Forschungszentrum Jülich의 EuroHPC 엑사스케일 슈퍼컴퓨터 JUPITER에서 약 1조 개의 파라미터를 가진 전문가 혼합(MoE) 모델을 학습했다. PyTorch와 TorchTitan을 조정해 GH200 GPU 384개(노드 96개)에서 GPU당 처리량을 초당 90토큰에서 약 1,300토큰으로 끌어올렸다. 이번 성과는 공공의 주권형 컴퓨팅 자원으로도 민간 클러스터와 같은 규모의 AI를 지원할 수 있음을 보여준다.
왜 중요한가
유럽의 공공 컴퓨팅 자원으로 최첨단 규모의 AI를 구동할 수 있음을 보여줘, 민간 클라우드 대여에 대한 의존도를 낮출 수 있다.