Вышли сборки open-source среды для запуска LLM для macOS, iOS и нескольких вариантов Linux. Улучшенная работа с кэшем MoE не даёт процессору простаивать.
ЗаметкаАвтор: OossaОпубликовано Oossa: 1 мин чтения
ggml‑org выпустила llama.cpp версии b12206. В обновлении исправлена работа с кэшем MoE (смесь экспертов): теперь процессорная часть не ждёт экспертов из кэша. Доступны готовые сборки для macOS на Apple Silicon и Intel, iOS, а также нескольких конфигураций Ubuntu — x64, arm64 и s390x, с поддержкой Vulkan или zDNN.
Разработчики смогут быстрее запускать LLM на своих устройствах, не сталкиваясь с узким местом процессора, возникавшим при прежней работе с кэшем MoE.
Модели
Модель доступна через сервис Tinker. По словам Thinking Machines, она справляется с программированием, исследованиями и бизнес-задачами. Компания планирует открыть веса модели.
Модели
Модель с 65 млрд параметров доступна по лицензии Apache 2.0. Ricursive сообщает о высоком результате в одном тесте для программирования, но в других результаты различаются.
Модели
Житель Северной Каролины утверждает, что ChatGPT помог его жене спланировать его отравление. OpenAI заявила, что заблокировала её аккаунт и передала информацию полиции.
Oossa · Рассылка
Неделя ИИ — простыми словами
Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.
