Meta открыла веса Muse Spark Open: 816 млрд параметров

Meta* 15 октября выпустила Muse Spark Open — модель с доступными для скачивания весами, 816 млрд параметров и контекстом до миллиона токенов. Она рассчитана на программирование и работу ИИ-агентов: принимает текст, изображения, видео и аудио, а выдаёт текст. Разработчики могут запускать её на своей инфраструктуре и адаптировать под собственные задачи.

Для пользователей важна оговорка: «открытые веса» не означают ни отсутствие условий использования, ни лёгкий запуск на обычном ноутбуке. Это крупная модель, для которой нужны серьёзные вычислительные ресурсы. Разбираем, что именно стало доступно и кому новый релиз может пригодиться.

Что выпустила Meta

В официальном анонсе Meta называет Spark Open своей моделью для программирования, длительных агентных задач и многошагового рассуждения. Вместе с весами появились интеграции с инструментами запуска, включая SGLang, vLLM, Transformers, MLX и llama.cpp. Релиз также подтверждают публикации Hugging Face и сообщение агентства AFP, которое пересказала CNA.

Характеристики опубликованы в официальной карточке модели. Мультимодальность здесь означает работу с разными видами входных данных. Из неё не следует, что Spark Open сама генерирует фотографии, видео или звуковые дорожки: перечисленные возможности выхода ограничены текстом.

Ранее мы писали о Muse Wonder для кода и долгих задач. Нынешний повод — отдельный выпуск Spark Open с опубликованными весами. Для разработчика это возможность выбирать не только внешний API, но и собственное размещение модели.

816 млрд параметров — почему работают только 42 млрд

У Spark Open архитектура Mixture of Experts, сокращённо MoE: при обработке каждого токена используется часть экспертных блоков. Поэтому 816 млрд описывают модель целиком, а около 42 млрд — активную часть на один шаг генерации. В документации Transformers указаны 256 экспертов в слое, из которых для токена выбираются восемь.

Такое устройство помогает сократить вычисления по сравнению с использованием всех параметров на каждом шаге. Но оно не превращает модель в небольшой файл: веса остальных экспертов тоже должны быть доступны системе. Нельзя оценивать требуемую память так, будто скачивается только модель на 42 млрд параметров.

С числом параметров связана ещё одна ловушка: оно само по себе не доказывает качество ответов. Для проекта важнее, справляется ли модель с его задачами, сколько времени тратит на результат и насколько часто требует исправлений. Сравнение только по размеру не отвечает на эти вопросы.

Что означает контекст в миллион токенов

Контекстное окно — объём данных, который модель может учитывать в одном обращении. Большое окно полезно, когда агент разбирает кодовую базу, несколько документов или длинную историю действий. Однако заявленный предел модели и лимит конкретного развёртывания могут отличаться: настройки сервера, доступная память и выбранный сервис влияют на рабочую конфигурацию.

В материале Hugging Face о запуске приведены примеры обслуживания с разной длиной контекста: один из рецептов vLLM использует 128K токенов, а отдельная конфигурация Inference Endpoints рассчитана на полный миллион. Поэтому надпись «1M» в новости ещё не гарантирует такое окно в любом доступном API или приложении.

При проверке стоит фиксировать фактический лимит, объём исходных материалов и место для ответа. Не менее полезно измерять, находит ли модель нужную деталь в большом документе, а не только принимает ли файл без ошибки. Как объём входа и длина ответа влияют на расходы, объясняем в заметке «Токены и лимиты: как экономить».

Локальный запуск: доступно для скачивания, но требовательно к памяти

Meta показала запуск через MLX — библиотеку машинного обучения для устройств Apple. В руководстве для разработчиков описаны две конфигурации: два Mac Studio с M5 Ultra и 512 ГБ объединённой памяти каждый либо четыре машины с 256 ГБ. В обоих случаях получается суммарно 1 ТБ памяти для варианта NVFP4 со сниженной точностью весов.

Это одна из поддерживаемых конфигураций, а не универсальный минимум для всех форматов. Существуют и сильнее сжатые варианты. В репозитории ggml-org с файлами GGUF опубликованы такие размеры:

Размер файлов не равен полной потребности запущенного сервера в памяти. Дополнительные ресурсы нужны для контекста, промежуточных вычислений и обслуживания запросов; визуальные и аудиокомпоненты также учитываются отдельно. Сжатие уменьшает объём весов, но его влияние на качество нужно проверять на выбранных задачах.

Для владельца небольшого сайта практический вывод прост: возможность скачать модель даёт контроль над размещением, но не обнуляет расходы. Перед покупкой оборудования разумно проверить её через готовый сервис, а затем сравнить аренду или содержание собственной системы с реальным объёмом запросов. Самостоятельное развёртывание требует ещё и обновлений, мониторинга и поддержки.

Открытые веса и условия лицензии

Термин open-weight означает доступность обученных весов модели. Это точнее, чем обещание «полностью открытого ИИ»: из публикации весов не следует, что доступны все исходные обучающие данные или что пользоваться моделью можно без условий.

Muse Model License разрешает использование и модификацию, включая дообучение. При этом необходимо соблюдать политику использования и требования об указании модели. Для бизнеса, предоставляющего модели третьим лицам через API или аналогичный интерфейс, предусмотрено отдельное условие: при совокупной валовой выручке лицензиата и связанных компаний свыше 20 млн долларов за любые последовательные 12 месяцев требуется уведомить Meta и заключить отдельное соглашение.

У этого пункта есть исключения, в том числе для внутреннего использования и функций собственного продукта, который не является сервисом предоставления моделей. Поэтому переносить порог на любую компанию, использующую Spark Open, некорректно. Для коммерческого проекта нужно читать полный текст лицензии применительно к своей схеме работы.

Кому релиз полезен уже сейчас

В первую очередь — командам, которым нужен собственный контур запуска, настройка поведения модели или эксперименты с агентами. Вместо зависимости от единственного внешнего интерфейса они получают возможность выбрать формат весов и инструменты обслуживания. В документации Meta также перечислены средства дообучения, включая TorchTitan и TRL.

Для прикладного пилота полезнее взять несколько собственных задач: исправить ошибку в тестовом проекте, извлечь сведения из документа, разобрать скриншот. Затем проверить результат, время выполнения и потребление ресурсов. Если модель используется как агент, отдельно оцениваются вызовы инструментов и поведение после ошибки: хороший единичный ответ не гарантирует надёжность длинного процесса.

Фраза о самой сильной американской модели с открытыми весами — позиционирование Meta. В этой новости мы не выдаём его за независимый итог сравнения и не заявляем о превосходстве над всеми версиями Claude, GPT или китайскими моделями. Редакция Spark Open самостоятельно не тестировала.

Главное изменение релиза — возможность получить веса крупной мультимодальной модели и управлять её размещением и адаптацией. Насколько это выгодно конкретному проекту, определяют результаты на его задачах, условия лицензии и стоимость инфраструктуры. Именно эти три пункта стоит проверять после впечатляющих цифр из анонса.

* Деятельность Meta Platforms Inc. по реализации социальных сетей Facebook и Instagram признана экстремистской и запрещена в России.