Консорциум EUROPA — Domyn, Fraunhofer IAIS и IIS — обучил модель типа «смесь экспертов» примерно на 1 трлн параметров на JUPITER, экзафлопсном суперкомпьютере EuroHPC в Исследовательском центре Юлиха. Оптимизация PyTorch и TorchTitan позволила увеличить производительность с 90 до примерно 1 300 токенов в секунду на каждом из 384 GPU GH200 (96 узлов). Проект показал, что государственные вычислительные ресурсы под европейским контролем способны поддерживать ИИ того же масштаба, что и частные кластеры.
Почему это важно
Это показывает, что государственные вычислительные ресурсы Европы способны запускать ИИ передового масштаба и снижать зависимость от аренды частных облачных мощностей.
