Sonda 1.0: локальные решения на польском и английском с открытыми весами 4B

Что вышло и какие права

Репозиторий BF16-чекпойнта создан 2 октября 2026 года. В закреплённой ревизии 990e955 есть один полный model.safetensors, конфигурация, токенизатор, sonda.conf, LICENSE и NOTICE. Отдельный FP8-репозиторий появился 3 октября и содержит model.safetensors с конфигурацией compressed-tensors; отсутствие отдельного LICENSE-файла в нём следует учитывать при повторном распространении — условия исходной модели и уведомления о происхождении проверяйте отдельно. Размеры файлов не являются минимальным требованием к VRAM. s2 s5

BF16-веса помечены Apache-2.0; NOTICE описывает цепочку Qwen3.5-4B → JevK5 v0.2 → Sonda 0.1 → Sonda 1.0 и просит сохранять атрибуцию. Публичный исходный код sonda-server тоже под Apache-2.0. Это утверждение о лицензиях опубликованных весов и сервера, а не гарантия качества или готовности каждого квантованного движка. s4 s3

Практический путь к локальному API

Репозиторий sonda-ml/sonda-server содержит Python-пакет версии 0.1.0 с CLI sonda-server, движком Transformers по умолчанию и обработчиком /v1/systemone. По его документации для BF16 нужны Linux, NVIDIA/CUDA, Python от 3.11, совместимые PyTorch и Transformers от 5.0; приведённая авторами оценка около 10 ГБ GPU-памяти — ориентир для их стека, не наше измерение и не универсальный минимум. Сначала проверьте доступную память и совместимость библиотек на своей машине. s3

Скачивать следует именно папку модели из Mr-Shmoo/sonda-1.0-4B, включая sonda.conf: сервер считывает из него температуры для разных типов вопросов. В запросе к /v1/systemone передают state и questions; ответ содержит вероятности вариантов. Для списка до 16 вариантов используется один проход; больший список сервер разбивает на несколько. Не публикуйте этот endpoint наружу без ключа доступа и TLS-прокси: код сервера предупреждает о риске открытого HTTP. s1 s3

Оговорка по документации: карточка модели предлагает Docker-сборку vLLM через docker/Dockerfile.vllm, но в проверенном дереве sonda-server на коммите 21c3994 такого файла нет. Там же команда загрузки оставлена с шаблоном <this-model-repo>. Поэтому Docker-команду из карточки сейчас нельзя выдавать за рабочую инструкцию; ориентируйтесь на исходный Python-пакет и сначала проверяйте локальный запуск. FP8-запуск требует совместимого GPU и vLLM, но Modelium его не тестировал. s1 s3 s5

Как читать результаты авторов

Авторы заявляют оценку на собственном наборе из 327 польских и 327 английских вопросов и отдельные цифры PriorBench, где приведён лишь поднабор из 120 английских примеров, а не все 2853 запроса набора. Таблица карточки для польской точности BF16 в общем сравнении указывает 95,4%, а в сравнении квантов — 95,1%; условия двух прогонов нельзя считать одинаковыми без дополнительных данных. Скорость FP8 и других вариантов заявлена на NVIDIA GB10 при параллельной нагрузке; это авторские результаты, не независимый бенчмарк. Перед внедрением проверьте калибровку и ошибки на своих вопросах и языках. s1

Выбор: если нужны локальные вероятности для заранее заданных ответов на польском или английском, начните с BF16-весов и исходного сервера. Если нужны генерация текста, доказанное качество на русском либо готовый Docker-рецепт для FP8, этот выпуск пока не закрывает задачу. s1 s3