DFlash 2 для Qwen3.6-35B-A3B: отдельный 4-битный MLX draft

Что изменилось

Inco AI ранее выпускала DFlash 2 draft вместе с целевой моделью в пакете Splash для Apple Silicon. В том пакете веса находятся в собственном tiled-формате Splash, который не загружается как обычный MLX-чекпойнт. Новый репозиторий переносит draft в стандартный Safetensors-файл с MLX affine 4-bit (группа 64). Автор конверсии заявляет, что целые значения, scales и biases для 208 тензоров переставлены без повторной квантизации; файл source.json закрепляет ревизию исходного пакета и контрольные суммы исходных файлов. Это делает draft отдельным загрузочным артефактом для подходящего MLX-совместимого inference-стека, но не доказывает прирост скорости в каждом runtime. s1 s4 s5

Как пробовать локально

Карточка предлагает использовать целевую mlx-community/Qwen3.6-35B-A3B-4bit вместе с новым draft через vLLM на Apple Silicon с плагином exo-vllm. В примере автора указаны --speculative-config '{"method": "dflash", "model": "mlx-community/Qwen3.6-35B-A3B-DFlash2-4bit", "num_speculative_tokens": 7}', а также парсеры tool calls и reasoning для Qwen. Это не команда для обычной установки vLLM без соответствующего плагина и поддержки метода dflash. Начинать следует с проверки совместимости своего runtime и формата целевых весов. s1 s6

Отдельный файл весов draft занимает 478 987 120 байт на диске. Это размер скачиваемого файла, а не минимальная RAM/VRAM: целевая модель, KV-кэш, контекст и служебные буферы тоже расходуют память. Инструкция исходного Splash рекомендует машину с 48 ГБ объединённой памяти для его собственного полного пакета, но эту рекомендацию нельзя автоматически переносить на vLLM с новым draft. s3 s4

Лицензия и границы данных

Новый репозиторий содержит текст Apache License 2.0; исходный пакет Inco и базовая Qwen также помечены Apache-2.0. Условия позволяют коммерческое использование в рамках лицензии с сохранением обязательных уведомлений, но наличие весов не означает, что весь стек exo-vllm автоматически готов к вашему окружению. В карточке конверсии нет отдельного воспроизводимого сравнения скорости или качества именно нового MLX-файла. Замеры Splash на M5 Pro относятся к другому, собственному пакету и движку Inco, а не к этой конверсии. Modelium пакет не запускал и не тестировал. s1 s4 s5 s7

Итог: это полезный перенос ранее существовавшего DFlash 2 draft из проприетарной упаковки движка Splash в обычные веса MLX для экспериментов со спекулятивным декодированием. Для запуска нужны совместимый target-чекпойнт, плагин/runtime и собственная проверка результата; обещать ускорение по цифрам Splash здесь нельзя.