ELYZA-Thinking на llm-jp-4: открытые веса 32B-A3B и 33B для японского языка

Что именно опубликовано

На Hugging Face у каждого варианта лежат оба файла model-00001-of-00002.safetensors и model-00002-of-00002.safetensors, индекс весов, токенизатор, конфигурация, файлы парсеров для vLLM, LICENSE и NOTICE. Мы сверили состав репозиториев по зафиксированным ревизиям, но не загружали веса и не проводили инференс. У MoE конфигурация задаёт 128 экспертов с маршрутизацией восьми на токен и контекст до 65 536 токенов; плотный вариант имеет отдельный чекпойнт и собственную карточку. Метка Apache 2.0 относится к опубликованным весам; она не означает, что каждая зависимость стека или обучающий датасет автоматически имеет ту же лицензию. s2 s3

Практический выбор: если нужен японский reasoning или вызовы инструментов внутри собственного сервера, сравните обе модели на своих задачах. Суффикс A3B обозначает архитектуру MoE и не делает весь набор весов трёхмиллиардным. Размер файлов и число активных параметров нельзя превращать в минимальные требования к RAM/VRAM: память зависит от формата, длины контекста, движка и размещения. s2 s3

Проверяемый путь запуска

Карточки обеих моделей рекомендуют vLLM 0.30.0 и отдельно поставляемые файлы vllm_plugins/*: парсер reasoning, tool-call parser и загрузчик. Для MoE в приведённом ELYZA примере дополнительно указан --moe-backend triton; для плотной модели этот флаг отсутствует. Перед запуском закрепите точную ревизию нужного репозитория и установите версии зависимостей по его карточке, затем используйте соответствующий пример vllm serve из этой же карточки. Параметр --trust-remote-code допускает исполнение кода из репозитория: сначала изучите его в зафиксированной ревизии и запускайте в доверенной среде. Это сценарий автора, а не результат теста Modelium. s2 s3

Обе карточки также описывают Transformers с trust_remote_code=True. Для рабочего пилота проверяйте не только финальный ответ, но и разбор канала рассуждений, японский текст, потоковую выдачу и реальные tool calls: наличие примера в карточке ещё не подтверждает работу на вашем оборудовании. s2 s3

Что с GGUF и сравнением качества

Сторонний репозиторий na0x2c6 содержит BF16 GGUF в двух частях и несколько отдельных квантованных файлов для MoE. На 3 октября его карточка помечена work in progress: часть вариантов и измерений ещё не опубликована. Автор прямо пишет, что штатный /v1/chat/completions в llama.cpp не работает без приложенного патча для обработки токенизатора и чат-формата. Поэтому этот GGUF пока нельзя рекомендовать как запуск «скачать и открыть» в обычном llama.cpp; не путайте его с официальными Safetensors ELYZA. s4

Графики и таблицы качества в карточках — оценки самой ELYZA: результаты агрегированы сначала внутри семи групп задач, затем между группами; при оценке вызовов инструментов параллельные вызовы исключены для всех моделей. Независимого сопоставления этих моделей и качества сторонних квантов у Modelium нет. Для русского языка качество отдельно не заявлено: если задача русскоязычная, начните с собственных коротких проверок вместо переноса японских результатов. s2 s3 s4

Следующий шаг: выберите официальный репозиторий MoE или 33B, закрепите его ревизию и повторите пример запуска из соответствующей карточки в изолированной среде; для GGUF сначала дождитесь штатной совместимости либо осознанно проверяйте патч и его исходники. s2 s3 s4