K2-Horizon MoVA для Apple Silicon: новые MLX-веса в 4-bit, 8-bit и BF16

Что скачивается и чем форматы отличаются

• Смешанный 4-bit: пять файлов весов и индекс на закреплённой ревизии; в config.json указаны 4 бита для части экспертов, 8 бит для внимания и других неэкспертных матриц. Роутеры оставлены в BF16 согласно карточке. Это не равномерная 4-битная квантизация всех параметров. s1 s5 s6
• 8-bit: восемь шардов весов в отдельном пакете. s2
• BF16: пятнадцать шардов весов в отдельном пакете для сопоставления с квантованными версиями. s3

Индекс 4-битного пакета перечисляет все пять шардов, а Hugging Face API показывает их в siblings: это существенно надёжнее, чем судить о завершении загрузки по первой странице дерева. Значение total_size в индексе относится к объёму тензоров, а не к минимуму оперативной памяти. s1 s6

Исходный K2-Horizon MoVA — разреженная модель IFM с архитектурой Mixture-of-Values. Исходный репозиторий и карточки конверсий обозначены Apache-2.0; открытые веса здесь не означают, что исходники обучения и данные уже опубликованы: карточка IFM обещает их позднее. Apache-2.0 допускает коммерческое применение при соблюдении условий лицензии, но права на внешние данные и конкретный сценарий использования всё равно проверяют отдельно. s1 s4

Как пробовать без ложного обещания совместимости

У mlx-lm пока открыта заявка на встроенную поддержку k2_horizon. Поэтому 4-битный пакет содержит k2_horizon.py, а config.json задаёт model_file: k2_horizon.py. В коде выпущенного mlx-lm 0.31.3 загрузчик действительно исполняет указанный локальный Python-файл при открытии модели; просмотрите его до запуска, потому что флаг --trust-remote-code сам по себе не заменяет ревью кода. s5 s7 s8

Карточка конверсии предлагает проверенный авторами вариант с mlx-lm 0.31.3:

pip install 'mlx-lm==0.31.3'
mlx_lm.generate --model mlx-community/K2-Horizon-MoVA-36B-A4B-4bit --trust-remote-code --prompt 'Explain mixture-of-experts in two sentences.' --max-tokens 256

Это авторский recipe, не тест Modelium; исполняйте его на Apple Silicon после просмотра файлов из закреплённой ревизии. При повторяемом эксперименте зафиксируйте SHA репозитория 891ce3d87d1c9ea3eb2d65e1b309d1a0000904c9, поскольку main может измениться. Если клиент ожидает выделенное поле для reasoning или структурированные tool calls, сервер mlx-lm пока не гарантирует такую совместимость: по карточке теги <ifm|think> остаются в обычном content, а формат tool calls не разбирается. s1 s7

Что известно о качестве и памяти

Авторы конверсии сообщают для WikiText-2 test (128 последовательностей по 512 токенов) perplexity 11,368 для BF16; 11,372 для 8-bit; 11,508 для смешанного 4-bit. В карточке также указана скорость генерации 35,3 / 51,2 / 59,6 токена/с соответственно на Mac Studio M4 Max с 128 ГБ; это авторские измерения, не независимый бенчмарк Modelium и не гарантия для вашего сценария. s1

Для короткого запроса авторы наблюдали у 4-битного варианта пиковое использование 26,5 ГБ на их конфигурации. Это не минимальное требование к памяти: контекст, KV-cache, настройки Metal и другие процессы меняют расход. Карточка отдельно предупреждает о росте KV-cache при длинных запросах. Не переносите результат короткого запроса на заявленный максимальный контекст 512K. s1

Практический выбор: 4-bit — первый кандидат, если нужна компактная локальная проверка на Mac и устраивают ограничения пользовательского загрузчика; 8-bit/BF16 — варианты для собственных сравнений качества при большем расходе памяти. До интеграции архитектуры и разметки reasoning/tool calls в штатном runtime не считайте конверсию готовым drop-in сервером для агентных систем. s1 s7