# Kolibri 1 получила неофициальную MLX-квантизацию 4-bit для Apple Silicon

Источник: https://modelium.tech/zhurnal/kolibri-1-mlx-4bit-apple-silicon-unofficial/

3 октября 2026 года автор velaia загрузил неофициальную MLX-конверсию Kolibri 1 для Apple Silicon. Девять шардов весов и индекс доступны в закреплённой ревизии; запуск требует приложенного к репозиторию адаптера архитектуры, поскольку штатный mlx-lm пока не включает kolibri1. Автор сообщает о пике 44–48 ГБ на своём тесте и рекомендует Mac с 64 ГБ общей памяти для 4-bit; Modelium запуск и замеры не проводил.

Kolibri 1 в MLX: 4-bit-конверсия для Mac без поддержки в штатном mlx-lm

3 октября 2026 года в Hugging Face появился **неофициальный** пакет `velaia/Kolibri-1-MLX-4bit` на основе выпущенной Aleph Alpha модели Kolibri 1. Это не новая базовая модель и не релиз самой Aleph Alpha: автор конверсии преобразовал исходные FP8-веса в формат MLX с покомпонентным квантованием. Практический смысл — ещё один путь локального запуска немецко-английской MoE-модели на Apple Silicon вместо исходного серверного стека vLLM. [s1](#src-s1) [s2](#src-s2)

## Что именно загружено

Закреплённая ревизия `99c73088148e406105d3d9a10cf991c7dee16569` содержит **девять из девяти** Safetensors-шардов, `model.safetensors.index.json`, конфигурацию, токенизатор и файлы `kolibri1.py` и `run.py`. Индекс ссылается на все девять присутствующих шардов; наличие пакета проверено по HF API и дереву файлов, но это **не тест генерации** и не доказательство качества. Размер весов сам по себе не означает минимальный объём RAM. [s2](#src-s2) [s3](#src-s3)

По карточке автора, routed experts, attention и shared expert упакованы в 4-bit MLX affine с группой 64, а embeddings и выходная голова — в 8-bit; маршрутизатор остаётся без квантования. Это не FP8-файл оригинала и не GGUF. В поставляемом `config.json` действительно задан `model_type: kolibri1` и описано смешанное 4/8-битное квантование. [s1](#src-s1) [s4](#src-s4)

## Как устроен запуск и где риск совместимости

Автор прямо предупреждает, что обычный `mlx-lm` пока не поставляет архитектуру `kolibri1`. Вместо команды `mlx_lm.generate` без подготовки он предлагает устанавливать `mlx-lm` и `huggingface_hub`, скачать репозиторий целиком, затем запускать **его** `run.py`: тот подгружает локальный `kolibri1.py` под именем `mlx_lm.models.kolibri1` перед передачей управления стандартному CLI. Скрипт рассчитан на команды `generate`, `chat` и `server`; пакет весов без этих файлов сам по себе не является готовой штатной моделью mlx-lm. [s1](#src-s1) [s5](#src-s5)

Начать стоит с карточки и закреплённого репозитория: скачать его целиком, прочитать Python-файлы, зафиксировать версии зависимостей в изолированном окружении и попробовать короткий немецкий запрос через `run.py generate`. Код сообщества выполняется на вашей машине; Modelium не запускал модель и не проверял бинарную совместимость с конкретным релизом mlx-lm или устойчивость сервера. Для оригинальных FP8/BF16-весов и официального vLLM-плагина есть отдельный материал Modelium. [s1](#src-s1) [s6](#src-s6)

## Память, качество и права

**Измерения автора, не тест Modelium:** карточка указывает около 44 ГБ пикового использования на коротком запросе и 48 ГБ на запросе в 4000 токенов, приводит скорость порядка 52–56 токенов/с на M1 Max и рекомендует Mac с 64 ГБ общей памяти для 4-bit-варианта. Это наблюдения на указанной автором конфигурации, не универсальная гарантия запуска или скорости. Сравнение perplexity автор сделал лишь на первых 4096 токенах двух статей Wikipedia; его нельзя превращать в общий рейтинг качества. [s1](#src-s1)

Исходная карточка Aleph Alpha относит Apache 2.0 **к опубликованным весам и конфигурации** и отдельно исключает не включённые в репозиторий код, архитектуру и методы обучения. Конверсия помечена Apache 2.0 и содержит LICENSE, а приложенный адаптер обозначен `SPDX-License-Identifier: Apache-2.0`; это не значит, что вся модель или методы обучения стали открытым исходным кодом. Apache 2.0 в общем случае допускает коммерческое использование соответствующих опубликованных артефактов при соблюдении условий лицензии, но не предоставляет прав на исключённые компоненты. Читайте также рекомендации исходной карточки по ответственному применению. [s1](#src-s1) [s7](#src-s7)

**Вывод:** пакет подходит для *проверки* локального сценария на Mac с большим объёмом общей памяти, если вас устраивают сторонний адаптер и потенциальная разница в качестве после повторного квантования. Для продуктового решения сначала проверяйте загрузку и собственные немецко-английские задачи на своей машине, а не переносите авторские показатели скорости и памяти в SLA. [s1](#src-s1)

## Источники

1. [velaia — Kolibri-1 MLX 4-bit, pinned model card](https://huggingface.co/velaia/Kolibri-1-MLX-4bit/blob/99c73088148e406105d3d9a10cf991c7dee16569/README.md) — получено 2026-10-03
2. [Hugging Face model API — Kolibri-1 MLX 4-bit](https://huggingface.co/api/models/velaia/Kolibri-1-MLX-4bit/revision/99c73088148e406105d3d9a10cf991c7dee16569) — получено 2026-10-03
3. [velaia — pinned Safetensors index](https://huggingface.co/velaia/Kolibri-1-MLX-4bit/blob/99c73088148e406105d3d9a10cf991c7dee16569/model.safetensors.index.json) — получено 2026-10-03
4. [velaia — pinned MLX model config](https://huggingface.co/velaia/Kolibri-1-MLX-4bit/blob/99c73088148e406105d3d9a10cf991c7dee16569/config.json) — получено 2026-10-03
5. [velaia — pinned custom MLX launcher](https://huggingface.co/velaia/Kolibri-1-MLX-4bit/blob/99c73088148e406105d3d9a10cf991c7dee16569/run.py) — получено 2026-10-03
6. [Aleph Alpha — Kolibri 1 official model card](https://huggingface.co/Aleph-Alpha/Kolibri-1/blob/e52eb4627d11516b0c01de49210ab5a4e4061444/README.md) — получено 2026-10-03
7. [velaia — MLX adapter source and SPDX](https://huggingface.co/velaia/Kolibri-1-MLX-4bit/blob/99c73088148e406105d3d9a10cf991c7dee16569/kolibri1.py) — получено 2026-10-03