Nemotron 3.5 Bolt для Mac: что изменено в новой GGUF-сборке

Если вы собирались запускать Nemotron 3.5 Bolt на Mac с процессором Apple, теперь есть отдельная сборка, рассчитанная на графическую систему Metal. 16 октября 2026 года Uraion Labs загрузила изменённый GGUF-файл модели и отдельный файл для обработки изображений. Это не новая модель NVIDIA, а стороннее преобразование уже опубликованных весов. Доступность файлов и документацию мы сверили, но модель не запускали и её скорость не измеряли. s1 s2

Что изменилось для пользователя Mac?

GGUF — формат файла модели для программ вроде llama.cpp; Metal позволяет этим программам использовать графические возможности Mac. По объяснению Uraion Labs, в оригинальном файле NVIDIA 80 частей модели хранятся в формате NVFP4, для которого у Metal в используемой версии llama.cpp нет нужной операции. Из-за этого работа с ними переходит на центральный процессор (CPU). Автор перевёл именно эти части в Q8_0 — другой формат хранения, доступный графическому процессору. Это описание механизма от автора конверсии, а не проведённый Modelium тест на Mac. s1

В закреплённой ревизии доступны основной файл 24,2 ГБ и файл для работы с изображениями 1,7 ГБ; последний нужен, если вы хотите задавать вопросы по картинке. Эти цифры обозначают объём скачивания, не минимальную оперативную память. Название исходной модели содержит «24GB», но новая сборка больше оригинального файла на диске. s2 s3

Насколько она быстрее и что пока неизвестно?

На своём Mac M5 Pro с 64 ГБ объединённой памяти автор сравнил два GGUF-файла в llama-server: при запросе длиной около 2000 токенов (частей текста) скорость обработки выросла с 181 до 676 токенов/с, а генерации без случайности — с 12,8 до 24,6 токена/с. Использовались один слот, контекст 262 144 токена и приведённые автором параметры сервера. Это авторские замеры на одной машине, а не обещание такой скорости на другом Mac. Объединённая память тестовой машины также не является подтверждённым минимумом для запуска. s1

Автор сравнил ответы лишь на одном запросе: первые 28 шагов совпали, после чего варианты разошлись. Полный набор проверок качества для преобразованной сборки, по его словам, не проводился. Поэтому нельзя считать доказанным, что все ответы совпадут с оригиналом или что качество не изменится на ваших задачах. s1

Стоит ли скачивать новую сборку?

Если вы уже запускаете Nemotron 3.5 Bolt на Mac и видите высокую загрузку CPU, имеет смысл изучить карточку сборки Uraion Labs: в ней указаны файлы, проверенная автором версия llama.cpp и ограничения. Автор проверял коммит 620d222; он совпадает с коммитом стабильного тега llama.cpp v0.7.0. На старом Homebrew llama.cpp 0.6.0, согласно карточке, загрузка не проходит. Это не инструкция, воспроизведённая редакцией: перед скачиванием сверьте доступное место, совместимость своей программы и объём памяти по её реальным требованиям, а результат проверьте на собственных запросах. s1 s5

Веса распространяются по OpenMDW-1.1: при распространении материалов нужно сохранить текст лицензии и применимые уведомления; лицензия не накладывает специальных ограничений на результаты модели. Код llama.cpp лицензирован отдельно по MIT. Открытый доступ к весам сам по себе не означает, что любой связанный код имеет ту же лицензию. s4 s3 s6