AliceAI-Foundation-80B-A3B-Base: Яндекс открыл базовую MoE-модель под Apache 2.0

Суть события

Первый выпуск весов отмечен в истории репозитория 18 сентября 2026 года s3; дальнейшие изменения карточки до 22 сентября не следует принимать за новую модель. Модель обучена с нуля и находится на стадии pretraining: Яндекс прямо предупреждает, что дополнительного post-training и alignment не было s1. Поэтому её корректнее рассматривать как основу для исследований, продолжения обучения, SFT или RL, а не как готового собеседника.

Архитектура сочетает 48 слоёв, 512 маршрутизируемых экспертов, выбор 10 экспертов плюс одного общего и один MTP-слой. Карточка также описывает гибрид KDA и gated attention s1.

Что заявляет разработчик

Яндекс приводит собственные сравнения на русских и английских бенчмарках, включая WikiWebFacts, HardMultiQA, EGE CoT, MATH-500 и задачи по программированию s1. Это результаты внутренней инфраструктуры оценки разработчика. Modelium их не воспроизводил, поэтому цифры следует трактовать как заявления автора, а не как независимое подтверждение качества.

Практическое значение для локального запуска

В карточке есть два пути запуска s1:

• Transformers 5.16.1 с flash-linear-attention==0.5.0, BF16 и trust_remote_code=True;
• vLLM через подготовленный Docker-образ с NVIDIA Container Toolkit.

Пример vLLM использует четыре GPU и tensor parallel 4, а пример LoRA-дообучения — четыре GPU по 80 ГБ. Это конфигурации примеров, а не заявленный минимум. Размер файлов весов также нельзя напрямую считать требованием к RAM или VRAM: фактическое потребление зависит от формата, квантизации, длины контекста, KV-кэша и движка.

Ограничения и неизвестное

Модель базовая и не выровнена под диалог или безопасное пользовательское поведение s1. В карточке не указана минимальная конфигурация железа, в официальном репозитории не опубликована GGUF-квантизация и не приведён потребительский сценарий запуска на одной видеокарте. Для GPU-выполнения KDA требуется отдельная зависимость flash-linear-attention, а загрузка использует пользовательский код из репозитория.

Apache 2.0 разрешает модификацию и коммерческое использование при соблюдении условий лицензии s2, но это не означает публикацию обучающих данных или полного конвейера обучения.

Следующий шаг

Для исследований стоит сначала зафиксировать ревизию модели, проверить пользовательский код и оценить запуск на целевой инфраструктуре с коротким контекстом. Для чат-продукта потребуется отдельный post-training и собственная проверка поведения.

По состоянию на 23 сентября сторонняя команда выложила конверсии GGUF, но сама предупреждает: стандартный llama-cli ещё не поддерживает архитектуру alice_ai. Их нельзя считать готовым способом локального запуска s4.

Первоисточники

• Карточка AliceAI-Foundation-80B-A3B-Base
• Apache 2.0 LICENSE
• История коммитов
• Сторонняя GGUF-конверсия и ограничения совместимости