# K2-Horizon 0.9B, 3.7B и 7B: новые MLX-квантизации для Mac Источник: https://modelium.tech/zhurnal/k2-horizon-09b-37b-7b-mlx-apple-silicon/ 29 сентября в mlx-community появились полные 4-битные MLX-пакеты K2-Horizon 0.9B, 3.7B и 7B для Apple Silicon. Это конверсии уже существующих моделей IFM, не новые базовые веса. В каждом пакете есть модельный файл, индекс и собственный Python-модуль архитектуры; автор проверил их на mlx-lm 0.31.3, но Modelium модели локально не запускал. K2-Horizon на Apple Silicon: три размера в MLX 29 сентября 2026 года в `mlx-community` загрузили три **смешанных 4-битных MLX-конверсии** K2-Horizon — 0.9B, 3.7B и 7B. Последующие правки карточек датированы 30 сентября; это не дата создания базовых моделей IFM, чьи репозитории существовали ранее. Закреплённые истории коммитов и состав файлов позволяют отделить загрузку весов от обновления описания. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) [s8](#src-s8) [s9](#src-s9) [s10](#src-s10) ## Что доступно и кому это полезно Каждый пакет содержит `config.json`, `generation_config.json`, индекс весов, токенизатор и `k2_horizon.py` — код архитектуры для MLX. В 0.9B и 3.7B индекс ссылается на один `model.safetensors`, в 7B — на два шарда; все названные файлы присутствуют в закреплённых репозиториях. Это локальный путь для Mac с Apple Silicon, если нужен выбор между компактной моделью, промежуточным вариантом и 7B, а не обещание одинакового качества или одинакового потребления памяти на любой конфигурации. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) Авторы называют пакеты «4-bit», но уточняют: MLP квантизирован до 4 бит с группой 32, остальные слои, включая attention и embeddings, — до 8 бит с группой 64. По авторскому сравнению с bf16 прирост perplexity WikiText-2 у смешанного рецепта составляет **5,6% / 4,4% / 4,5%** соответственно для 0.9B / 3.7B / 7B. Это замер авторов на тестовом наборе WikiText-2 (128 фрагментов по 512 токенов), не независимая оценка Modelium и не мера качества в вашей задаче. Авторские скорости 379,8 / 109,6 / 69,0 токена/с получены на **Mac Studio M4 Max с 128 ГБ unified memory** при описанных авторами условиях; это не минимальная аппаратная конфигурация. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) ## Как подойти к запуску В карточках указан выпущенный `mlx-lm` **0.31.3** и пример `mlx_lm.generate --model mlx-community/K2-Horizon-0.9B-4bit --prompt 'Объясни идею в двух предложениях' --max-tokens 128` для 0.9B; замените идентификатор модели для других размеров. Закреплённый код `mlx-lm` действительно скачивает Python-файлы репозитория и загружает файл из `model_file` в конфигурации. **До загрузки и запуска изучите **`**k2_horizon.py**`**: модель выполняет поставляемый репозиторием код локально.** Автор сообщает о собственных smoke-тестах на mlx-lm 0.31.3, но Modelium эти команды и модели не запускал. Более новые версии mlx-lm, по карточкам, могут требовать отдельного `--trust-remote-code`; не смешивайте флаг с непроверенной старой версией CLI. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s5](#src-s5) Ограничения важнее рекламируемого окна контекста. По карточкам, `mlx_lm.server` пока не отделяет блоки `` от основного `content` и не разбирает формат tool-call этой архитектуры. При длинном контексте расход памяти увеличит KV-кеш: размеры файлов весов не равны необходимому объёму RAM. Авторские короткие smoke-тесты не подтверждают работу на полном заявленном контексте 128K/512K. Проверьте вывод и память на собственной задаче, прежде чем использовать локальный сервис в продукте. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) У исходных карточек IFM и MLX-пакетов стоит метка **Apache-2.0**. При этом в закреплённых MLX-репозиториях не найден отдельный `LICENSE` для сопровождающего Python-порта, у которого есть собственная строка copyright Apple Inc.; метка весов сама по себе не является независимой правовой экспертизой всего кода. Для коммерческого внедрения уточните условия использования именно этого файла и права на базовую модель, а не выводите разрешение только из слова «открытая». [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) [s6](#src-s6) [s7](#src-s7) ## Источники 1. [mlx-community: K2-Horizon-0.9B-4bit, закреплённая карточка и файлы](https://huggingface.co/mlx-community/K2-Horizon-0.9B-4bit/tree/4b5544bf46094c4b81e4bdd5a23d52b9b7e2fa75) — получено 2026-09-30 2. [mlx-community: K2-Horizon-3.7B-4bit, закреплённая карточка и файлы](https://huggingface.co/mlx-community/K2-Horizon-3.7B-4bit/tree/3b453d026bd4f433c0bc9a532706f87488269e4d) — получено 2026-09-30 3. [mlx-community: K2-Horizon-7B-4bit, закреплённая карточка и файлы](https://huggingface.co/mlx-community/K2-Horizon-7B-4bit/tree/c8698376a102bc5e7ad49089b21b62c096a2506c) — получено 2026-09-30 4. [IFM: K2-Horizon-0.9B, карточка базовой модели и условия](https://huggingface.co/IFM/K2-Horizon-0.9B/blob/fa7f5ded0883803c8d8f2bdbfddcdba2e462e698/README.md) — получено 2026-09-30 5. [mlx-lm v0.31.3: исходный загрузчик model_file](https://github.com/ml-explore/mlx-lm/blob/v0.31.3/mlx_lm/utils.py) — получено 2026-09-30 6. [IFM: K2-Horizon-3.7B, карточка базовой модели](https://huggingface.co/IFM/K2-Horizon-3.7B/blob/943ce4e230b461c3c60830a87217992615885797/README.md) — получено 2026-09-30 7. [IFM: K2-Horizon-7B, карточка базовой модели](https://huggingface.co/IFM/K2-Horizon-7B/blob/f846b1e64076a5eff23f7e3539d2740cc76de8b4/README.md) — получено 2026-09-30 8. [mlx-community: история коммитов K2-Horizon-0.9B-4bit](https://huggingface.co/api/models/mlx-community/K2-Horizon-0.9B-4bit/commits/main?limit=12) — получено 2026-09-30 9. [mlx-community: история коммитов K2-Horizon-3.7B-4bit](https://huggingface.co/api/models/mlx-community/K2-Horizon-3.7B-4bit/commits/main?limit=12) — получено 2026-09-30 10. [mlx-community: история коммитов K2-Horizon-7B-4bit](https://huggingface.co/api/models/mlx-community/K2-Horizon-7B-4bit/commits/main?limit=12) — получено 2026-09-30