Kolibri 1 получила неофициальную MLX-квантизацию 4-bit для Apple Silicon

Что именно загружено

Закреплённая ревизия 99c73088148e406105d3d9a10cf991c7dee16569 содержит девять из девяти Safetensors-шардов, model.safetensors.index.json, конфигурацию, токенизатор и файлы kolibri1.py и run.py. Индекс ссылается на все девять присутствующих шардов; наличие пакета проверено по HF API и дереву файлов, но это не тест генерации и не доказательство качества. Размер весов сам по себе не означает минимальный объём RAM. s2 s3

По карточке автора, routed experts, attention и shared expert упакованы в 4-bit MLX affine с группой 64, а embeddings и выходная голова — в 8-bit; маршрутизатор остаётся без квантования. Это не FP8-файл оригинала и не GGUF. В поставляемом config.json действительно задан model_type: kolibri1 и описано смешанное 4/8-битное квантование. s1 s4

Как устроен запуск и где риск совместимости

Автор прямо предупреждает, что обычный mlx-lm пока не поставляет архитектуру kolibri1. Вместо команды mlx_lm.generate без подготовки он предлагает устанавливать mlx-lm и huggingface_hub, скачать репозиторий целиком, затем запускать его run.py: тот подгружает локальный kolibri1.py под именем mlx_lm.models.kolibri1 перед передачей управления стандартному CLI. Скрипт рассчитан на команды generate, chat и server; пакет весов без этих файлов сам по себе не является готовой штатной моделью mlx-lm. s1 s5

Начать стоит с карточки и закреплённого репозитория: скачать его целиком, прочитать Python-файлы, зафиксировать версии зависимостей в изолированном окружении и попробовать короткий немецкий запрос через run.py generate. Код сообщества выполняется на вашей машине; Modelium не запускал модель и не проверял бинарную совместимость с конкретным релизом mlx-lm или устойчивость сервера. Для оригинальных FP8/BF16-весов и официального vLLM-плагина есть отдельный материал Modelium. s1 s6

Память, качество и права

Измерения автора, не тест Modelium: карточка указывает около 44 ГБ пикового использования на коротком запросе и 48 ГБ на запросе в 4000 токенов, приводит скорость порядка 52–56 токенов/с на M1 Max и рекомендует Mac с 64 ГБ общей памяти для 4-bit-варианта. Это наблюдения на указанной автором конфигурации, не универсальная гарантия запуска или скорости. Сравнение perplexity автор сделал лишь на первых 4096 токенах двух статей Wikipedia; его нельзя превращать в общий рейтинг качества. s1

Исходная карточка Aleph Alpha относит Apache 2.0 к опубликованным весам и конфигурации и отдельно исключает не включённые в репозиторий код, архитектуру и методы обучения. Конверсия помечена Apache 2.0 и содержит LICENSE, а приложенный адаптер обозначен SPDX-License-Identifier: Apache-2.0; это не значит, что вся модель или методы обучения стали открытым исходным кодом. Apache 2.0 в общем случае допускает коммерческое использование соответствующих опубликованных артефактов при соблюдении условий лицензии, но не предоставляет прав на исключённые компоненты. Читайте также рекомендации исходной карточки по ответственному применению. s1 s7

Вывод: пакет подходит для проверки локального сценария на Mac с большим объёмом общей памяти, если вас устраивают сторонний адаптер и потенциальная разница в качестве после повторного квантования. Для продуктового решения сначала проверяйте загрузку и собственные немецко-английские задачи на своей машине, а не переносите авторские показатели скорости и памяти в SLA. s1