Kolibri 1: открытые веса MoE-модели для немецкого и английского с локальным vLLM

Какие артефакты доступны

Официальный репозиторий Aleph-Alpha/Kolibri-1 содержит FP8-чекпойнт: манифест весов перечисляет 32 различных Safetensors-шарда. Отдельно опубликован Aleph-Alpha/Kolibri-1-BF16, также с 32 файлами весов по API Hugging Face. Оба репозитория публичны и не требуют принятия gated-условий на момент проверки. FP8 здесь означает формат весов, а не обещание запуска на любой видеокарте. s1 s2

Для весов и конфигурации в карточке прямо указана Apache 2.0, и файл LICENSE есть в FP8-репозитории: коммерческое использование в рамках этой лицензии разрешено. Однако сам правообладатель оговаривает, что эта лицензия не распространяется на не включённые в репозиторий код, архитектуру и методы обучения. Поэтому «открытые веса» не равнозначны «полностью открытой модели». Отдельный inference-плагин Aleph Alpha опубликован под Apache 2.0. s1 s3

Практический путь для vLLM

Карточка модели требует пакет aleph-alpha-inference; релиз плагина v1.0.0 вышел 3 октября. Его закреплённый pyproject.toml требует vllm>=0.29.0,<0.30.0, а также torch>=2.9.0 и transformers>=5.5.3. Поэтому установленный отдельно vLLM 0.30.0 не стоит считать совместимым с этим релизом плагина. Сначала сверяйте драйверы, GPU и зависимости в своей среде; Modelium запуск не проводил. s1 s3 s4

pip install 'aleph-alpha-inference==1.0.0'
vllm serve Aleph-Alpha/Kolibri-1 --kv-cache-dtype fp8 \
--reasoning-parser kolibri1 \
--tool-call-parser kolibri1 \
--enable-auto-tool-choice

Команда следует официальному примеру, но мы закрепили версию плагина; его зависимости задают подходящую ветку vLLM. В производственной среде фиксируйте версии всего окружения и проверяйте ресурсы на своей конфигурации. Автор карточки отдельно приводит собственный список минимальных и рекомендуемых GPU-конфигураций для FP8; это его заявленные конфигурации, не расчёт из размера файлов и не независимый тест Modelium. s1 s4

Контекст и результаты: где граница утверждений

В поставляемом config.json указан max_position_embeddings: 262144. Автор говорит, что проверил качество и эффективность обслуживания до 1 048 576 токенов, но для длины свыше 262 144 требует явные --max-model-len 1048576 и --hf-overrides '{"max_position_embeddings": 1048576}'; также рекомендует не превышать 262 144 для чувствительных к задержке и сложных задач. Миллионный контекст не является настройкой по умолчанию. s1 s5

Таблицы оценок в карточке — измерения самого разработчика. Он указывает reasoning_effort=high для Kolibri, разные документированные длины контекста и параметры сэмплирования моделей, а также разные способы подсчёта усреднённых категорий. Сравнивайте эти условия до переноса процентов в решение о выборе модели; независимых замеров у Modelium нет. s1

Кому полезно: командам, которым требуется собственный сервер для немецкого и английского текста с контролем данных и инструментальными вызовами. Начните с FP8-репозитория и закреплённого плагина; если у вас только обычная настольная GPU, не принимайте наличие весов за подтверждение практической совместимости. s1 s3