blink-4b v1.4: локальный сервер решений на vLLM 0.30.0

Для какой задачи

blink-4b, модификация Qwen3.5-4B, принимает текстовое или JSON-состояние и вопросы с готовыми вариантами. Ответ — выбор и вероятности по предложенным вариантам, а не сгенерированный совет. Практический пример — локально распределять обращения между очередями или выбирать следующее действие по фиксированному перечню. Это не универсальный чат-ассистент; вероятности не являются гарантией правильности и требуют калибровки на собственных данных. Веса модели есть в HF-репозитории в двух Safetensors-шардах; serve_vllm.py и VLLM.md присутствуют в закреплённой ревизии. s2 s3

Новый сервер обслуживает /v1/systemone, /v1/models и /healthz и выполняет непрерывное пакетирование текстовых запросов. serve.py остаётся штатным вариантом и может принимать изображения при отдельной настройке; vLLM-вариант отклоняет изображения с HTTP 422. В проверенной автором конфигурации длина вопроса ограничена 32 768 токенами, а для стандартного сервера в карточке заявлено 131 072; изменение лимита vLLM требует новой проверки качества. s3

Как повторить авторскую конфигурацию

Карточка закрепляет v1.4; инструкция автора использует vLLM 0.30.0, Transformers 5.17.0, Torch 2.13.0 и flash-linear-attention 0.5.2. После загрузки модели в отдельное окружение пример автора из каталога модели выглядит так (совместимость оборудования и зависимостей проверьте для своей системы): s2 s3

hf download thegovind/blink-4b --revision v1.4 --local-dir blink-4b
cd blink-4b
python serve_vllm.py --model . --port 8000 --quantization auto --max-concurrency 32 --max-num-seqs 32 --max-num-batched-tokens 8192 --gpu-memory-utilization 0.85

Точные команды установки и версии зависимостей приведены в VLLM.md; это авторская инструкция, Modelium не запускал её. --quantization auto в этом рецепте оставляет BF16-веса, а автор сообщает, что испытанные INT8-сборки не прошли контроль качества. Не подставляйте другую квантизацию или модель из семейства без собственной валидации. s3

Что показывают и чего не показывают замеры

По данным автора для одной self-hosted реплики с HTTP loopback, 16 параллельных запросов к 231 публичному примеру JevBench дали 34,7 завершённых вопросов/с на vLLM против 12,2 на serve.py. На той же конфигурации измерен пик занятой памяти устройства 68,0 GiB у vLLM против 21,4 GiB у контрольного сервера, включая зарезервированный кэш. Это не минимальное требование к VRAM и не универсальный прирост скорости. В документации сказано, что показатели пропускной способности взяты из более раннего исследования E3 и не перемерялись для релизной сборки; релиз повторно прошёл лишь ограниченную проверку качества 231 примера при одном запросе. Официальный результат JevBench для blink не опубликован. s3

Не стоит превращать другие числа из карточки в независимый рейтинг: автор прямо отмечает присутствие обучающих примеров из тестовой части MMLU-Pro в локальном Decision Index 0.2, поэтому этот показатель носит описательный характер, а не является чистым тестом обобщения. Для задач с коммерческими данными и правилами доступа отдельно проверьте право на использование весов и качество собственных решений. s2 s4

Права на использование

Код репозитория проекта распространяется по Apache-2.0, но веса blink-4b разрешены автором только для некоммерческих исследований и оценки; разрешения на коммерческий запуск нет. LICENSE модели отдельно предупреждает о разнородных лицензиях обучающих данных и об обязанности соблюсти условия базовой Qwen-модели. Открытая загрузка весов не означает коммерческую лицензию. s4 s5