# DFlash 2 для Qwen3.6-35B-A3B: отдельный 4-битный MLX draft

Источник: https://modelium.tech/zhurnal/qwen36-35b-dflash2-mlx-4bit-draft/

23 сентября 2026 года mlx-community опубликовала отдельный 4-битный MLX-чекпойнт DFlash 2 для Qwen3.6-35B-A3B. Это вспомогательная draft-модель для спекулятивного декодирования, а не самостоятельная 35B-модель: нужен целевой чекпойнт и совместимый runtime. Автор конверсии приводит команду для vLLM с плагином exo-vllm, но независимых замеров именно этого пакета пока нет.

DFlash 2 для Qwen3.6-35B-A3B: отдельный MLX draft

**23 сентября 2026 года** в `mlx-community` появился репозиторий `Qwen3.6-35B-A3B-DFlash2-4bit`. История коммитов показывает загрузку чекпойнта в 10:07 UTC. Пакет содержит файл `model.safetensors` и конфигурацию MLX: это *draft* для спекулятивного декодирования целевой Qwen3.6-35B-A3B, **не** самостоятельная универсальная модель и **не** новая базовая Qwen. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Что изменилось

Inco AI ранее выпускала DFlash 2 draft вместе с целевой моделью в пакете Splash для Apple Silicon. В том пакете веса находятся в собственном tiled-формате Splash, который не загружается как обычный MLX-чекпойнт. Новый репозиторий переносит draft в стандартный Safetensors-файл с MLX affine 4-bit (группа 64). Автор конверсии заявляет, что целые значения, scales и biases для 208 тензоров переставлены без повторной квантизации; файл `source.json` закрепляет ревизию исходного пакета и контрольные суммы исходных файлов. Это делает draft отдельным загрузочным артефактом для подходящего MLX-совместимого inference-стека, но не доказывает прирост скорости в каждом runtime. [s1](#src-s1) [s4](#src-s4) [s5](#src-s5)

## Как пробовать локально

Карточка предлагает использовать целевую `mlx-community/Qwen3.6-35B-A3B-4bit` вместе с новым draft через vLLM на Apple Silicon **с плагином exo-vllm**. В примере автора указаны `--speculative-config '{"method": "dflash", "model": "mlx-community/Qwen3.6-35B-A3B-DFlash2-4bit", "num_speculative_tokens": 7}'`, а также парсеры tool calls и reasoning для Qwen. Это не команда для обычной установки vLLM без соответствующего плагина и поддержки метода `dflash`. Начинать следует с проверки совместимости своего runtime и формата целевых весов. [s1](#src-s1) [s6](#src-s6)

Отдельный файл весов draft занимает **478 987 120 байт на диске**. Это размер скачиваемого файла, а не минимальная RAM/VRAM: целевая модель, KV-кэш, контекст и служебные буферы тоже расходуют память. Инструкция исходного Splash рекомендует машину с 48 ГБ объединённой памяти для *его собственного* полного пакета, но эту рекомендацию нельзя автоматически переносить на vLLM с новым draft. [s3](#src-s3) [s4](#src-s4)

## Лицензия и границы данных

Новый репозиторий содержит текст Apache License 2.0; исходный пакет Inco и базовая Qwen также помечены Apache-2.0. Условия позволяют коммерческое использование в рамках лицензии с сохранением обязательных уведомлений, но наличие весов не означает, что весь стек exo-vllm автоматически готов к вашему окружению. В карточке конверсии **нет отдельного воспроизводимого сравнения скорости или качества** именно нового MLX-файла. Замеры Splash на M5 Pro относятся к другому, собственному пакету и движку Inco, а не к этой конверсии. Modelium пакет не запускал и не тестировал. [s1](#src-s1) [s4](#src-s4) [s5](#src-s5) [s7](#src-s7)

**Итог:** это полезный перенос ранее существовавшего DFlash 2 draft из проприетарной упаковки движка Splash в обычные веса MLX для экспериментов со спекулятивным декодированием. Для запуска нужны совместимый target-чекпойнт, плагин/runtime и собственная проверка результата; обещать ускорение по цифрам Splash здесь нельзя.

## Источники

1. [MLX DFlash 2 draft: карточка и команда запуска](https://huggingface.co/mlx-community/Qwen3.6-35B-A3B-DFlash2-4bit/blob/f896ecec0389cb991b5cecf328e5948807cf2716/README.md) — получено 2026-09-23
2. [История коммитов MLX-конверсии](https://huggingface.co/mlx-community/Qwen3.6-35B-A3B-DFlash2-4bit/commits/main) — получено 2026-09-23
3. [Дерево файлов MLX-конверсии на закреплённой ревизии](https://huggingface.co/api/models/mlx-community/Qwen3.6-35B-A3B-DFlash2-4bit/tree/f896ecec0389cb991b5cecf328e5948807cf2716?recursive=true) — получено 2026-09-23
4. [Исходный пакет Inco AI Qwen3.6 Splash](https://huggingface.co/incoai/Qwen3.6-35B-A3B-Splash/blob/0f4714b2db37b5f3c42a10de07281e74f88e4adc/README.md) — получено 2026-09-23
5. [Манифест происхождения конвертированных весов](https://huggingface.co/mlx-community/Qwen3.6-35B-A3B-DFlash2-4bit/blob/f896ecec0389cb991b5cecf328e5948807cf2716/source.json) — получено 2026-09-23
6. [Целевой MLX-чекпойнт Qwen3.6-35B-A3B-4bit](https://huggingface.co/mlx-community/Qwen3.6-35B-A3B-4bit) — получено 2026-09-23
7. [Текст лицензии конверсии](https://huggingface.co/mlx-community/Qwen3.6-35B-A3B-DFlash2-4bit/blob/f896ecec0389cb991b5cecf328e5948807cf2716/LICENSE) — получено 2026-09-23