Short Reply 0.6B: короткие ответы на Mac через Core ML
На странице · 3 разделов
Fluid Inference выпустила Core ML-пакет Short Reply на основе Qwen3-0.6B и 2 октября добавила Swift-хост и демо в FluidUse. Он составляет короткий черновик ответа на сообщение локально на Apple Silicon: ввод проходит через Neural Engine, генерация токенов — через GPU. Это не сервис автопубликации; ответы нужно проверять вручную.
Что произошло
Fluid Inference загрузила пакет short-reply-0.6b-coreml на Hugging Face 30 сентября 2026 года. 2 октября в основной ветке FluidUse был объединён PR #23: Swift-хост ShortReplyManager и демонстрационное приложение ShortReplyDemo. Поэтому это не новый общий релиз FluidUse 0.3.0: он вышел раньше, 25 сентября, а новый сценарий пока находится в исходном коде основной ветки. s1 s2
Модель — специализированная настройка Qwen3-0.6B для одного короткого ответа на один пост. Автор описывает LoRA-дистилляцию от собственной 1.7B-модели и последующее слияние весов. Это не универсальный чат-ассистент: запрос ограничен фиксированной схемой, а ответ должен укладываться в 12 слов. Пакет содержит функции prefill и decode, токенизатор и JSON-конфигурацию. По полному дереву закреплённой ревизии файл весов weight.bin занимает 757 896 128 байт; сам по себе размер файла не задаёт минимальные требования к памяти. s1 s3
Для кого и как попробовать
Сценарий — черновик реакции на сообщение без отправки текста в модельный облачный API. Swift-хост из FluidUse читает локальные файлы, обрезает слишком длинный пост под фиксированные 160 токенов и возвращает текст с замером времени. Демо может вставить черновик в активное поле, но самостоятельно не публикует его. Для первого знакомства разумнее использовать локальную имитацию ленты (--mock) и отключить глобальные клавиши 9/0 в меню демо: автор прямо называет их неподходящими для повседневной работы. Требуется разрешение macOS Accessibility, если читать выделение в других программах; альтернативный пункт меню работает с буфером обмена. s4 s5
Порядок из документации автора: скачать модельный репозиторий, взять FluidUse на коммите с объединённым PR, открыть проект на Mac со Swift и запустить Sources/ShortReplyDemo/demo.sh --mock <каталог-модели>. Скрипт собирает ShortReplyDemo, использует tmux и для мониторинга пытается запустить macmon либо asitop; без этих зависимостей не стоит выдавать рецепт за универсальную однострочную установку. Modelium не запускал этот пакет на Apple Silicon и не измерял его скорость. s2 s4 s5
Лицензия и границы результатов
Карточка производной модели указывает Apache-2.0; исходный Qwen3-0.6B и код FluidUse также распространяются по Apache-2.0. Отдельного файла LICENSE в зафиксированном дереве производного HF-репозитория нет, поэтому перед внедрением в продукт проверьте актуальные условия и происхождение данных самостоятельно. Наличие открытых весов и кода не означает, что автор подтвердил качество для вашего языка или площадки: карточка помечает модель как английскую. s1 s3 s6 s7
На M5 Pro с macOS 27 автор сообщает медиану 28 мс для prefill на Neural Engine и 24 мс на токен для decode на GPU, около 190 мс на ответ. В его проверке 89 из 100 ответов на отложенных реальных постах совпали с PyTorch-чекпойнтом; сравнительная оценка слепым LLM-судьёй дала 88 против 93 для собственной 1.7B-модели. Это авторские измерения, не независимый тест и не прогноз на другом Mac. По признанию автора, примерно каждый восьмой черновик выходит слишком общим или неточным. Проверка человеком перед отправкой обязательна. s1 s4
Вывод: полезный локальный образец специализированной генерации на Mac, если нужна быстрая подсказка для коротких английских ответов. Для автоматической публикации или длинных диалогов оснований нет; перед интеграцией проверьте свои примеры, язык, время загрузки и работу горячих клавиш. s1 s4
Источники
- FluidInference: short-reply-0.6b-coreml, закреплённая карточка. Получено 02.10.2026.
- FluidUse PR #23: объединение Short Reply в main — Merged 2026-10-02 02:12:55 UTC; опубликованный релиз v0.3.0 старше PR.. Получено 02.10.2026.
- HF API: файлы закреплённой ревизии модели. Получено 02.10.2026.
- FluidUse: Short Reply Demo README на коммите с PR. Получено 02.10.2026.
- FluidUse: исходный код Swift-хоста и demo.sh. Получено 02.10.2026.
- Qwen3-0.6B: лицензия исходной модели. Получено 02.10.2026.
- FluidUse: LICENSE на проверенном коммите. Получено 02.10.2026.