K2-Horizon 0.9B, 3.7B и 7B: новые MLX-квантизации для Mac

Что доступно и кому это полезно

Каждый пакет содержит config.json, generation_config.json, индекс весов, токенизатор и k2_horizon.py — код архитектуры для MLX. В 0.9B и 3.7B индекс ссылается на один model.safetensors, в 7B — на два шарда; все названные файлы присутствуют в закреплённых репозиториях. Это локальный путь для Mac с Apple Silicon, если нужен выбор между компактной моделью, промежуточным вариантом и 7B, а не обещание одинакового качества или одинакового потребления памяти на любой конфигурации. s1 s2 s3

Авторы называют пакеты «4-bit», но уточняют: MLP квантизирован до 4 бит с группой 32, остальные слои, включая attention и embeddings, — до 8 бит с группой 64. По авторскому сравнению с bf16 прирост perplexity WikiText-2 у смешанного рецепта составляет 5,6% / 4,4% / 4,5% соответственно для 0.9B / 3.7B / 7B. Это замер авторов на тестовом наборе WikiText-2 (128 фрагментов по 512 токенов), не независимая оценка Modelium и не мера качества в вашей задаче. Авторские скорости 379,8 / 109,6 / 69,0 токена/с получены на Mac Studio M4 Max с 128 ГБ unified memory при описанных авторами условиях; это не минимальная аппаратная конфигурация. s1 s2 s3

Как подойти к запуску

В карточках указан выпущенный mlx-lm 0.31.3 и пример mlx_lm.generate --model mlx-community/K2-Horizon-0.9B-4bit --prompt 'Объясни идею в двух предложениях' --max-tokens 128 для 0.9B; замените идентификатор модели для других размеров. Закреплённый код mlx-lm действительно скачивает Python-файлы репозитория и загружает файл из model_file в конфигурации. До загрузки и запуска изучите k2_horizon.py: модель выполняет поставляемый репозиторием код локально. Автор сообщает о собственных smoke-тестах на mlx-lm 0.31.3, но Modelium эти команды и модели не запускал. Более новые версии mlx-lm, по карточкам, могут требовать отдельного --trust-remote-code; не смешивайте флаг с непроверенной старой версией CLI. s1 s2 s3 s5

Ограничения важнее рекламируемого окна контекста. По карточкам, mlx_lm.server пока не отделяет блоки <ifm|think> от основного content и не разбирает формат tool-call этой архитектуры. При длинном контексте расход памяти увеличит KV-кеш: размеры файлов весов не равны необходимому объёму RAM. Авторские короткие smoke-тесты не подтверждают работу на полном заявленном контексте 128K/512K. Проверьте вывод и память на собственной задаче, прежде чем использовать локальный сервис в продукте. s1 s2 s3

У исходных карточек IFM и MLX-пакетов стоит метка Apache-2.0. При этом в закреплённых MLX-репозиториях не найден отдельный LICENSE для сопровождающего Python-порта, у которого есть собственная строка copyright Apple Inc.; метка весов сама по себе не является независимой правовой экспертизой всего кода. Для коммерческого внедрения уточните условия использования именно этого файла и права на базовую модель, а не выводите разрешение только из слова «открытая». s1 s2 s3 s4 s6 s7