# Nemotron 3.5 Bolt для Mac: что изменено в новой GGUF-сборке

Источник: https://modelium.tech/zhurnal/nemotron-3-5-bolt-metal-gguf-mac/

16 октября Uraion Labs выпустила изменённую GGUF-сборку NVIDIA Nemotron 3.5 Bolt для Mac с Apple Silicon. Автор заменил формат хранения части весов, чтобы эти вычисления не уходили с графического процессора на CPU. Замеры ускорения относятся к одному M5 Pro; редакция не проверяла скорость и качество самостоятельно.

Если вы собирались запускать Nemotron 3.5 Bolt на Mac с процессором Apple, теперь есть отдельная сборка, рассчитанная на графическую систему Metal. **16 октября 2026 года** Uraion Labs загрузила изменённый GGUF-файл модели и отдельный файл для обработки изображений. Это **не новая модель NVIDIA**, а стороннее преобразование уже опубликованных весов. Доступность файлов и документацию мы сверили, но модель не запускали и её скорость не измеряли. [s1](#src-s1) [s2](#src-s2)

## Что изменилось для пользователя Mac?

GGUF — формат файла модели для программ вроде llama.cpp; Metal позволяет этим программам использовать графические возможности Mac. По объяснению Uraion Labs, в оригинальном файле NVIDIA 80 частей модели хранятся в формате NVFP4, для которого у Metal в используемой версии llama.cpp нет нужной операции. Из-за этого работа с ними переходит на центральный процессор (CPU). Автор перевёл именно эти части в Q8_0 — другой формат хранения, доступный графическому процессору. Это описание механизма от автора конверсии, а не проведённый Modelium тест на Mac. [s1](#src-s1)

В закреплённой ревизии доступны основной файл **24,2 ГБ** и файл для работы с изображениями **1,7 ГБ**; последний нужен, если вы хотите задавать вопросы по картинке. Эти цифры обозначают объём скачивания, **не минимальную оперативную память**. Название исходной модели содержит «24GB», но новая сборка больше оригинального файла на диске. [s2](#src-s2) [s3](#src-s3)

## Насколько она быстрее и что пока неизвестно?

На своём **Mac M5 Pro с 64 ГБ объединённой памяти** автор сравнил два GGUF-файла в llama-server: при запросе длиной около 2000 токенов (частей текста) скорость обработки выросла с 181 до 676 токенов/с, а генерации без случайности — с 12,8 до 24,6 токена/с. Использовались один слот, контекст 262 144 токена и приведённые автором параметры сервера. Это **авторские замеры на одной машине**, а не обещание такой скорости на другом Mac. Объединённая память тестовой машины также не является подтверждённым минимумом для запуска. [s1](#src-s1)

Автор сравнил ответы лишь на одном запросе: первые 28 шагов совпали, после чего варианты разошлись. Полный набор проверок качества для преобразованной сборки, по его словам, не проводился. Поэтому нельзя считать доказанным, что все ответы совпадут с оригиналом или что качество не изменится на ваших задачах. [s1](#src-s1)

## Стоит ли скачивать новую сборку?

Если вы **уже запускаете Nemotron 3.5 Bolt на Mac** и видите высокую загрузку CPU, имеет смысл изучить [карточку сборки Uraion Labs](https://huggingface.co/UraionLabs/Nemotron-3.5-Bolt-74B-A9B-24GB-Metal-GGUF): в ней указаны файлы, проверенная автором версия llama.cpp и ограничения. Автор проверял коммит `620d222`; он совпадает с коммитом стабильного тега llama.cpp v0.7.0. На старом Homebrew llama.cpp 0.6.0, согласно карточке, загрузка не проходит. **Это не инструкция, воспроизведённая редакцией**: перед скачиванием сверьте доступное место, совместимость своей программы и объём памяти по её реальным требованиям, а результат проверьте на собственных запросах. [s1](#src-s1) [s5](#src-s5)

Веса распространяются по **OpenMDW-1.1**: при распространении материалов нужно сохранить текст лицензии и применимые уведомления; лицензия не накладывает специальных ограничений на результаты модели. Код llama.cpp лицензирован отдельно по MIT. Открытый доступ к весам сам по себе не означает, что любой связанный код имеет ту же лицензию. [s4](#src-s4) [s3](#src-s3) [s6](#src-s6)

## Источники

1. [Uraion Labs — карточка Nemotron 3.5 Bolt Metal GGUF, ревизия 38ce8d9](https://huggingface.co/UraionLabs/Nemotron-3.5-Bolt-74B-A9B-24GB-Metal-GGUF/blob/38ce8d963641fe219759a85eb5d72587ea554d1c/README.md) — получено 2026-10-16
2. [Uraion Labs — файлы закреплённой ревизии 38ce8d9](https://huggingface.co/UraionLabs/Nemotron-3.5-Bolt-74B-A9B-24GB-Metal-GGUF/tree/38ce8d963641fe219759a85eb5d72587ea554d1c) — получено 2026-10-16
3. [NVIDIA — официальный GGUF Nemotron 3.5 Bolt, ревизия e0fecb6](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF/blob/e0fecb69cb3e5e4c5e8a056fa2aec98c78e91246/README.md) — получено 2026-10-16
4. [Uraion Labs — OpenMDW-1.1 в репозитории производных весов](https://huggingface.co/UraionLabs/Nemotron-3.5-Bolt-74B-A9B-24GB-Metal-GGUF/blob/38ce8d963641fe219759a85eb5d72587ea554d1c/LICENSE) — получено 2026-10-16
5. [ggml-org — релиз llama.cpp v0.7.0](https://github.com/ggml-org/llama.cpp/releases/tag/v0.7.0) — получено 2026-10-16
6. [ggml-org — лицензия кода llama.cpp v0.7.0](https://github.com/ggml-org/llama.cpp/blob/v0.7.0/LICENSE) — получено 2026-10-16