На этой неделе Google представила две новые системы ИИ-ускорителей. TPU 8tx предназначена для компаний и государственных ведомств, которым необходимо сохранять данные зашифрованными во время обработки. В TPU 8i Max два чипа TPU 8i восьмого поколения объединены в одном корпусе: это позволяет вдвое увеличить вычислительную мощность, объём памяти и пропускную способность в той же стойке. Обе модели используют ту же базовую кремниевую платформу, что и существующие TPU восьмого поколения, но отличаются компоновкой, сетевыми решениями и конфигурацией памяти. По словам Google, модульный подход позволяет выпускать новое оборудование за месяцы, а не годы.
TPU 8tx устраняет пробел в защите: данные и веса моделей остаются зашифрованными даже во время работы с ними. Google сравнивает эту систему с функциями конфиденциальных вычислений на графических процессорах Nvidia. Она работает в низколатентной сети Boardfly от Google; компания заявляет, что задержка может сокращаться вдвое по сравнению с более ранней TPU 8t. По словам Google, одна система 8tx может дообучать модели, дистиллировать большие модели и обучать агентов с подкреплением, не перемещая конфиденциальные данные между кластерами.
TPU 8i Max призвана устранить дефицит памяти, возникающий, когда ИИ-агенты работают с большими кодовыми базами или многочасовыми видеозаписями. Объединение двух чипов TPU 8i в одной системе вдвое увеличивает объём памяти и пропускную способность, а вычислительная мощность в той же стойке становится примерно вдвое выше. По словам Google, это обеспечивает более высокую производительность на квадратный метр площади дата-центра.
Помимо выпуска оборудования, Google упрощает переход на TPU. Компания открыла исходный код TorchTPU, чтобы код PyTorch можно было запускать на TPU с минимальными изменениями, а также добавила поддержку популярных фреймворков для инференса, таких как vLLM и SGLang. Сейчас у компании почти 100 внешних клиентов, использующих TPU, — это отход от прежней стратегии, при которой они применялись только внутри Google.
Чем важны новые TPU
Компании, работающие с конфиденциальными данными, теперь могут запускать ИИ-задачи, не расшифровывая информацию, что снижает риск утечек. Разработчики, выполняющие масштабные задачи инференса, например анализ видео или поиск по кодовой базе, получают больше памяти и скорости без увеличения площади дата-центра.
Почему это важно
Компании, которым необходимо защищать конфиденциальные данные, могут запускать модели ИИ, не раскрывая исходную информацию, и снизить затраты на обеспечение безопасности. Команды, выполняющие масштабные задачи инференса, получают больше производительности на стойку, что может сократить расходы на оборудование и требования к площади.
