Ollama на Mac: MLX или GGUF — как выбрать и проверить рантайм

Что именно сравнивается: MLX и GGUF?

Это не два формата и не два взаимозаменяемых переключателя. В манифесте Ollama mlx, llamacpp и ggml — имена исполнителей (runner), тогда как gguf и safetensors — форматы весов s3. Практический выбор обычно такой: совместимый вариант модели для MLX либо вариант с GGUF для исполнения через соответствующий runner. Но формат файла сам по себе не обещает ни поддержку конкретной архитектуры в MLX, ни скорость, ни память. На Mac с Intel нет GPU-пути Apple Silicon: документация Ollama отмечает x86 как CPU-only, а для актуального приложения требует macOS Sonoma 14+ s7.

Для кого MLX-вариант: Apple Silicon, конкретная архитектура модели включена в поддержку MLX этого выпуска, а у выбранного тега доступен совместимый вариант. В заметке предварительного релиза автор Ollama сообщает: на Apple Silicon поддерживаемые архитектуры автоматически пойдут через MLX; в процессе prerelease список будет расширяться s1. Это обещание разработчика, не наш замер, и оно не распространяется автоматически на все модели, GGUF-файлы или стабильную 0.34.4 s1s2. Код prerelease предпочитает mlx → llamacpp → ggml только при выборе среди доступных вариантов на darwin/arm64; без подходящего варианта нельзя просто объявить, что сработает MLX s3.

Для кого GGUF-вариант: есть совместимый готовый GGUF нужной модели и квантизации, требуется понятный путь импорта или другой runner. Ollama описывает FROM /path/to/file.gguf в Modelfile, затем ollama create; готовый GGUF при таком импорте не квантуется заново s5. Код prerelease различает метаданные runner и format, поэтому не называйте любой запуск GGUF «MLX» по одному признаку Apple Silicon s3. Сравнивать одну и ту же модель и настройку важнее, чем произносить название движка: неизвестный размер контекста, иная квантизация или другой вариант весов меняют условия сравнения.

Что изменилось в версии 0.40.0-rc0?

В официальных GitHub Releases v0.34.4 обозначен стабильным, v0.40.0-rc0 — prerelease; это два разных среза состояния продукта, а не признак, что все установки уже переключились s1s2. Авторы предлагают для поддерживаемого Apple Silicon сценария ollama pull qwen3.8 и ollama run qwen3.8, но эти команды могут загрузить значительные файлы; перед повторением выберите тег и проверьте свободное место и ресурсы своего устройства s1s7. Modelium не скачивал модель и не воспроизводил пример.

В коде предварительной версии ollama ps показывает отдельную колонку RUNNER; также ollama show выводит выбранный и доступные runner, если есть несколько вариантов s4. В стабильной версии нельзя предполагать наличие именно этих элементов на основании кода prerelease. Базовый ollama ps описан в официальной CLI-документации, а FAQ раскрывает PROCESSOR как место размещения модели: 100% GPU, 100% CPU или смешанный вариант. PROCESSOR не отвечает на вопрос «MLX или llama.cpp?» s8s6.

В коде prerelease у ollama run и ollama pull есть скрытый --runner для выбора варианта из манифеста. Это диагностическая возможность конкретной предварительной версии, не обещанный стабильный флаг и не способ превратить неподдерживаемый файл в другой формат s4s3. Не делайте слепой pull --runner на большой модели ради эксперимента: он может потребовать дополнительную загрузку, а отсутствующий вариант runner не появится от самого флага.

Как получить ответ и удостовериться, что он локальный?

На своём Mac сначала проверьте версию Ollama, используйте уже загруженный локальный тег подходящей модели и запустите пробный запрос без производственных данных. Документированный путь — ollama run и ollama ps s8:

ollama --version
ollama ls
ollama run ИМЯ_ЛОКАЛЬНОЙ_МОДЕЛИ "Назови два признака ошибок в этом учебном тексте"
ollama ps

ИМЯ_ЛОКАЛЬНОЙ_МОДЕЛИ — заполнитель, замените его точным именем из ollama ls. Эти команды не запускались Modelium. Убедитесь, что есть ответ и строка вашей модели в ollama ps; для v0.40.0-rc0 дополнительно проверьте RUNNER, а по FAQ PROCESSOR покажет CPU/GPU-размещение s4s6s8. Отсутствие RUNNER в старой версии — не доказательство, что модели не было, а значение 100% GPU — не доказательство MLX. Если модель не удержалась в памяти до вызова ps, повторите короткий запрос и сразу проверьте статус; ollama ps перечисляет загруженные, а не все установленные модели s6s8.

localhost и GPU-размещение сами по себе не удостоверяют отсутствие сетевого выхода или что выбран именно локальный, а не облачный тег. Для закрытых данных нужно отдельно проверить сетевой контур и маршрут запроса; в этой статье никаких тестов сети не проводилось. Для первой модели без экспериментального prerelease откройте стартовый гайд Ollama.

Как сравнить на своём Mac без ложного «победителя»?

1. Задайте одну задачу и вход. Например, краткий ответ по разрешённому локальному документу без секретов. Сохраните эталонное требование к ответу, не только скорость.
2. Зафиксируйте конфигурацию: модель и точный тег, версия Ollama, Mac/chip, объём памяти, формат/квант весов, контекст и параметры генерации. Если сравниваются разные варианты весов или размеры модели, это не чистое сравнение исполнителей.
3. Получите по несколько повторов одного запроса после загрузки модели в сопоставимых условиях, запишите задержку, явные ошибки и проверяемые факты в ответе. Не выводите «MLX быстрее» из одного ответа: таких замеров Modelium не делал.
4. Удостоверьтесь, что сравнивали нужное: в prerelease смотрите RUNNER и доступные варианты из show; PROCESSOR фиксируйте отдельно как размещение s4s6. Если нужного runner для этого тега нет, тест пары прекращается, а не заменяется сравнением разных архитектур s3.

Если нужна именно работа с экосистемой MLX вне Ollama, MLX-LM на Mac — другой инструмент и отдельный маршрут, не доказательство того, что любой тег Ollama исполняется тем же способом. Если нужен готовый файл, сначала разберитесь в GGUF и квантизации. Размер файла весов не является минимальным требованием RAM: память зависит также от контекста, KV-кеша и условий запуска; проверьте выбор устройства до крупной загрузки.

Основной следующий шаг: открыть гайд Ollama, выбрать доступную на своём Mac модель и зафиксировать версию, RUNNER (если поле есть), PROCESSOR и результат собственного тестового запроса. Пока сопоставимого прогона нет, нельзя присвоить MLX или GGUF безусловную победу.