# Short Reply 0.6B: короткие ответы на Mac через Core ML

Источник: https://modelium.tech/zhurnal/short-reply-06b-coreml-apple-silicon/

Fluid Inference выпустила Core ML-пакет Short Reply на основе Qwen3-0.6B и 2 октября добавила Swift-хост и демо в FluidUse. Он составляет короткий черновик ответа на сообщение локально на Apple Silicon: ввод проходит через Neural Engine, генерация токенов — через GPU. Это не сервис автопубликации; ответы нужно проверять вручную.

## Что произошло

Fluid Inference загрузила пакет `short-reply-0.6b-coreml` на Hugging Face 30 сентября 2026 года. 2 октября в основной ветке FluidUse был объединён PR #23: Swift-хост `ShortReplyManager` и демонстрационное приложение `ShortReplyDemo`. Поэтому это не новый общий релиз FluidUse 0.3.0: он вышел раньше, 25 сентября, а новый сценарий пока находится в исходном коде основной ветки. [s1](#src-s1) [s2](#src-s2)

Модель — специализированная настройка Qwen3-0.6B для одного короткого ответа на один пост. Автор описывает LoRA-дистилляцию от собственной 1.7B-модели и последующее слияние весов. Это не универсальный чат-ассистент: запрос ограничен фиксированной схемой, а ответ должен укладываться в 12 слов. Пакет содержит функции `prefill` и `decode`, токенизатор и JSON-конфигурацию. По полному дереву закреплённой ревизии файл весов `weight.bin` занимает 757 896 128 байт; сам по себе размер файла не задаёт минимальные требования к памяти. [s1](#src-s1) [s3](#src-s3)

## Для кого и как попробовать

Сценарий — черновик реакции на сообщение без отправки текста в модельный облачный API. Swift-хост из FluidUse читает локальные файлы, обрезает слишком длинный пост под фиксированные 160 токенов и возвращает текст с замером времени. Демо может вставить черновик в активное поле, но **самостоятельно не публикует** его. Для первого знакомства разумнее использовать локальную имитацию ленты (`--mock`) и отключить глобальные клавиши 9/0 в меню демо: автор прямо называет их неподходящими для повседневной работы. Требуется разрешение macOS Accessibility, если читать выделение в других программах; альтернативный пункт меню работает с буфером обмена. [s4](#src-s4) [s5](#src-s5)

Порядок из документации автора: скачать модельный репозиторий, взять FluidUse на коммите с объединённым PR, открыть проект на Mac со Swift и запустить `Sources/ShortReplyDemo/demo.sh --mock <каталог-модели>`. Скрипт собирает `ShortReplyDemo`, использует `tmux` и для мониторинга пытается запустить `macmon` либо `asitop`; без этих зависимостей не стоит выдавать рецепт за универсальную однострочную установку. Modelium не запускал этот пакет на Apple Silicon и не измерял его скорость. [s2](#src-s2) [s4](#src-s4) [s5](#src-s5)

## Лицензия и границы результатов

Карточка производной модели указывает Apache-2.0; исходный Qwen3-0.6B и код FluidUse также распространяются по Apache-2.0. Отдельного файла LICENSE в зафиксированном дереве производного HF-репозитория нет, поэтому перед внедрением в продукт проверьте актуальные условия и происхождение данных самостоятельно. Наличие открытых весов и кода не означает, что автор подтвердил качество для вашего языка или площадки: карточка помечает модель как английскую. [s1](#src-s1) [s3](#src-s3) [s6](#src-s6) [s7](#src-s7)

На M5 Pro с macOS 27 автор сообщает медиану 28 мс для prefill на Neural Engine и 24 мс на токен для decode на GPU, около 190 мс на ответ. В его проверке 89 из 100 ответов на отложенных реальных постах совпали с PyTorch-чекпойнтом; сравнительная оценка слепым LLM-судьёй дала 88 против 93 для собственной 1.7B-модели. Это **авторские измерения**, не независимый тест и не прогноз на другом Mac. По признанию автора, примерно каждый восьмой черновик выходит слишком общим или неточным. Проверка человеком перед отправкой обязательна. [s1](#src-s1) [s4](#src-s4)

**Вывод:** полезный локальный образец специализированной генерации на Mac, если нужна быстрая подсказка для коротких английских ответов. Для автоматической публикации или длинных диалогов оснований нет; перед интеграцией проверьте свои примеры, язык, время загрузки и работу горячих клавиш. [s1](#src-s1) [s4](#src-s4)

## Источники

1. [FluidInference: short-reply-0.6b-coreml, закреплённая карточка](https://huggingface.co/FluidInference/short-reply-0.6b-coreml/blob/84c3e88aae4031af07623aeb74880fe5c1338d1c/README.md) — получено 2026-10-02
2. [FluidUse PR #23: объединение Short Reply в main](https://github.com/FluidInference/FluidUse/pull/23) — получено 2026-10-02
3. [HF API: файлы закреплённой ревизии модели](https://huggingface.co/api/models/FluidInference/short-reply-0.6b-coreml/tree/84c3e88aae4031af07623aeb74880fe5c1338d1c?recursive=true&expand=true) — получено 2026-10-02
4. [FluidUse: Short Reply Demo README на коммите с PR](https://github.com/FluidInference/FluidUse/blob/415ae5d26de7dcc9d613084ae73d1a98d2b3cbeb/Sources/ShortReplyDemo/README.md) — получено 2026-10-02
5. [FluidUse: исходный код Swift-хоста и demo.sh](https://github.com/FluidInference/FluidUse/blob/415ae5d26de7dcc9d613084ae73d1a98d2b3cbeb/Sources/FluidUse/ShortReply/ShortReplyManager.swift) — получено 2026-10-02
6. [Qwen3-0.6B: лицензия исходной модели](https://huggingface.co/Qwen/Qwen3-0.6B/blob/c1899de289a04d12100db370d81485cdf75e47ca/LICENSE) — получено 2026-10-02
7. [FluidUse: LICENSE на проверенном коммите](https://github.com/FluidInference/FluidUse/blob/415ae5d26de7dcc9d613084ae73d1a98d2b3cbeb/LICENSE) — получено 2026-10-02