# K2-Horizon MoVA для Apple Silicon: новые MLX-веса в 4-bit, 8-bit и BF16 Источник: https://modelium.tech/zhurnal/k2-horizon-mova-mlx-4bit-8bit-apple-silicon/ 28 сентября mlx-community загрузило три MLX-конверсии K2-Horizon-MoVA-36B-A4B для Apple Silicon: смешанную 4-битную, 8-битную и BF16. У 4-битной версии пять шардов и собственный файл архитектуры k2_horizon.py: обычный mlx-lm пока не содержит эту архитектуру. Авторы проверили генерацию на mlx-lm 0.31.3; Modelium не запускал веса и не воспроизводил их замеры. K2-Horizon MoVA для Apple Silicon: что появилось в MLX 28 сентября 2026 года в пространстве mlx-community появились три отдельных пакета **K2-Horizon-MoVA-36B-A4B**: 4-bit, 8-bit и BF16. Это конверсии ранее выпущенных весов IFM, **не новая базовая модель**. Разница для владельца Mac — возможность выбирать между тремя форматами и попробовать запуск через MLX, но пока с пользовательским Python-кодом архитектуры из модельного репозитория. Даты создания и ревизии проверены по Hugging Face API; последующее обновление карточки не следует путать с датой первоначальной загрузки. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) ## Что скачивается и чем форматы отличаются - **Смешанный 4-bit:** пять файлов весов и индекс на закреплённой ревизии; в `config.json` указаны 4 бита для части экспертов, 8 бит для внимания и других неэкспертных матриц. Роутеры оставлены в BF16 согласно карточке. Это не равномерная 4-битная квантизация всех параметров. [s1](#src-s1) [s5](#src-s5) [s6](#src-s6) - **8-bit:** восемь шардов весов в отдельном пакете. [s2](#src-s2) - **BF16:** пятнадцать шардов весов в отдельном пакете для сопоставления с квантованными версиями. [s3](#src-s3) Индекс 4-битного пакета перечисляет все пять шардов, а Hugging Face API показывает их в `siblings`: это существенно надёжнее, чем судить о завершении загрузки по первой странице дерева. Значение `total_size` в индексе относится к объёму тензоров, а не к минимуму оперативной памяти. [s1](#src-s1) [s6](#src-s6) Исходный K2-Horizon MoVA — разреженная модель IFM с архитектурой Mixture-of-Values. Исходный репозиторий и карточки конверсий обозначены **Apache-2.0**; открытые веса здесь не означают, что исходники обучения и данные уже опубликованы: карточка IFM обещает их позднее. Apache-2.0 допускает коммерческое применение при соблюдении условий лицензии, но права на внешние данные и конкретный сценарий использования всё равно проверяют отдельно. [s1](#src-s1) [s4](#src-s4) ## Как пробовать без ложного обещания совместимости У `mlx-lm` пока открыта заявка на встроенную поддержку `k2_horizon`. Поэтому 4-битный пакет содержит `k2_horizon.py`, а `config.json` задаёт `model_file: k2_horizon.py`. В коде выпущенного `mlx-lm` 0.31.3 загрузчик действительно исполняет указанный локальный Python-файл при открытии модели; **просмотрите его до запуска**, потому что флаг `--trust-remote-code` сам по себе не заменяет ревью кода. [s5](#src-s5) [s7](#src-s7) [s8](#src-s8) Карточка конверсии предлагает проверенный авторами вариант с `mlx-lm` 0.31.3: pip install 'mlx-lm==0.31.3'mlx_lm.generate --model mlx-community/K2-Horizon-MoVA-36B-A4B-4bit --trust-remote-code --prompt 'Explain mixture-of-experts in two sentences.' --max-tokens 256 Это **авторский recipe**, не тест Modelium; исполняйте его на Apple Silicon после просмотра файлов из закреплённой ревизии. При повторяемом эксперименте зафиксируйте SHA репозитория `891ce3d87d1c9ea3eb2d65e1b309d1a0000904c9`, поскольку `main` может измениться. Если клиент ожидает выделенное поле для reasoning или структурированные tool calls, сервер `mlx-lm` пока не гарантирует такую совместимость: по карточке теги `` остаются в обычном `content`, а формат tool calls не разбирается. [s1](#src-s1) [s7](#src-s7) ## Что известно о качестве и памяти Авторы конверсии сообщают для WikiText-2 test (128 последовательностей по 512 токенов) perplexity **11,368 для BF16; 11,372 для 8-bit; 11,508 для смешанного 4-bit**. В карточке также указана скорость генерации **35,3 / 51,2 / 59,6 токена/с** соответственно на Mac Studio M4 Max с 128 ГБ; это авторские измерения, не независимый бенчмарк Modelium и не гарантия для вашего сценария. [s1](#src-s1) Для короткого запроса авторы наблюдали у 4-битного варианта пиковое использование **26,5 ГБ** на их конфигурации. Это **не минимальное требование к памяти**: контекст, KV-cache, настройки Metal и другие процессы меняют расход. Карточка отдельно предупреждает о росте KV-cache при длинных запросах. Не переносите результат короткого запроса на заявленный максимальный контекст 512K. [s1](#src-s1) **Практический выбор:** 4-bit — первый кандидат, если нужна компактная локальная проверка на Mac и устраивают ограничения пользовательского загрузчика; 8-bit/BF16 — варианты для собственных сравнений качества при большем расходе памяти. До интеграции архитектуры и разметки reasoning/tool calls в штатном runtime не считайте конверсию готовым drop-in сервером для агентных систем. [s1](#src-s1) [s7](#src-s7) ## Источники 1. [mlx-community K2-Horizon-MoVA-36B-A4B-4bit: pinned card](https://huggingface.co/mlx-community/K2-Horizon-MoVA-36B-A4B-4bit/blob/891ce3d87d1c9ea3eb2d65e1b309d1a0000904c9/README.md) — получено 2026-09-28 2. [HF API: MLX 8-bit revision and sibling files](https://huggingface.co/api/models/mlx-community/K2-Horizon-MoVA-36B-A4B-8bit/revision/7577ea7d1f4b1dc11701c426b9c9d2d8ba966e2b) — получено 2026-09-28 3. [HF API: MLX BF16 revision and sibling files](https://huggingface.co/api/models/mlx-community/K2-Horizon-MoVA-36B-A4B-bf16/revision/5b022a9e3b91841b039d9d1d41202d9279ae5209) — получено 2026-09-28 4. [IFM original K2-Horizon MoVA model card and license declaration](https://huggingface.co/IFM/K2-Horizon-MoVA-36B-A4B/blob/e5c131d4d0ae196f5041284a0f9262d713083901/README.md) — получено 2026-09-28 5. [MLX 4-bit config at pinned revision](https://huggingface.co/mlx-community/K2-Horizon-MoVA-36B-A4B-4bit/blob/891ce3d87d1c9ea3eb2d65e1b309d1a0000904c9/config.json) — получено 2026-09-28 6. [MLX 4-bit weight index and complete shard names](https://huggingface.co/mlx-community/K2-Horizon-MoVA-36B-A4B-4bit/blob/891ce3d87d1c9ea3eb2d65e1b309d1a0000904c9/model.safetensors.index.json) — получено 2026-09-28 7. [mlx-lm request for native k2_horizon support](https://github.com/ml-explore/mlx-lm/issues/1876) — получено 2026-09-28 8. [mlx-lm v0.31.3 load_model implementation](https://github.com/ml-explore/mlx-lm/blob/v0.31.3/mlx_lm/utils.py) — получено 2026-09-28