Перейти к содержанию
modelium.
Начать с задачи
←

Ollama 0.40.6: поддержка Q2_0 и исправление процессов в Windows

Ollama 0.40.6 от 16 октября научилась распознавать файлы моделей в формате Q2_0 и исправила ситуацию, когда после остановки ollama serve в Windows могли оставаться процессы запуска модели. Обновление полезно прежде всего тем, кто загружает Q2_0-файлы или запускает Ollama из командной строки в Windows; обычным пользователям приложения не нужно менять настройки.

Если файл локальной модели в формате Q2_0 раньше не загружался в Ollama, версия 0.40.6 устраняет одну из возможных причин. А тем, кто запускает ollama serve вручную в Windows, обновление помогает не оставлять после остановки фоновые процессы модели. Стабильный выпуск опубликован 16 октября 2026 года; новых весов Ollama этим релизом не объявляла. s1 s2 s3

Почему Q2_0 раньше не загружался?

Q2_0 — способ компактно записать веса модели в файле GGUF. Программа, которая исполняет модель внутри Ollama, уже могла понимать этот формат, но собственная проверка GGUF-файла в Ollama не знала соответствующие обозначения. При попытке создать или загрузить модель она могла сообщить об ошибке unsupported tensor. В 0.40.6 разработчики добавили распознавание типа данных и типа файла Q2_0. s2

В качестве конкретного примера автор исправления приводит Q2_0-варианты Bonsai 2. В закреплённой карточке модели Bonsai 2 2B действительно есть отдельный файл Q2_0; не путайте его с PQ2_0 и PTQ1_0 — карточка описывает для них другой путь через форк llama.cpp. Автор PR сообщает, что проверил создание и запуск нескольких Bonsai 2 на Apple Silicon; редакция Modelium этот запуск не воспроизводила. Поддержка формата сама по себе не обещает совместимости любого GGUF, одинакового качества ответа или определённого требования к оперативной памяти. s2 s4

Что исправили в Windows?

При ручном запуске сервера Ollama из командной строки его дочерние процессы — программы, непосредственно исполняющие модель, — могли оставаться после принудительной остановки сервера. В версии 0.40.6 эти процессы объединяют в системную группу Windows, которая завершает их при закрытии Ollama. Автор изменения отдельно пишет, что обычный настольный интерфейс и прежде штатно завершал сервер; изменение прежде всего касается сценария с ollama serve в терминале. Это описание кода и авторской проверки, не тест Modelium на Windows. s1 s3

Нужно ли обновляться прямо сейчас?

Если вы используете Q2_0-файл и получали ошибку при его добавлении, проверьте версию Ollama и обновитесь до 0.40.6 через официальный выпуск, затем повторите прежнюю попытку с тем же файлом. Критерий проверки — файл проходит стадию чтения без ошибки о неизвестном типе данных, после чего модель отвечает на короткий запрос; иных гарантий совместимости это не даёт. Если Ollama и так работает с вашей моделью, срочного действия нет. Если после закрытия ollama serve в Windows оставались процессы модели, сравните их поведение до и после обновления. s1 s2 s3

Для выбора конкретного Q2_0-файла и понимания особенностей Bonsai 2 смотрите разбор семейства Bonsai 2. Код Ollama выпущен под MIT; это не лицензия на все модели, которые запускают через программу. Условия выбранной модели сверяйте отдельно с её автором. s4 s5

Источники

  1. Ollama: официальный выпуск v0.40.6 — Стабильный релиз опубликован 2026-10-16 22:00 UTC, перечислены Q2_0 и Windows fix.. Получено 17.10.2026.
  2. Ollama PR #18967: поддержка типа GGUF Q2_0 — Merged 2026-10-15, различие между внутренним llama.cpp и GGUF reader Ollama, авторская проверка Bonsai 2 на Apple Silicon.. Получено 17.10.2026.
  3. Ollama PR #18500: завершение дочерних процессов в Windows — Merged 2026-10-15; Windows Job Object, применимость к ручному ollama serve.. Получено 17.10.2026.
  4. Prism ML: карточка Ternary-Bonsai-2-2B-gguf, ревизия 683f7be — Список Q2_0, PQ2_0 и PTQ1_0 файлов и ограничения upstream llama.cpp; не используем карточку как независимый benchmark.. Получено 17.10.2026.
  5. Ollama: LICENSE в теге v0.40.6 — Лицензия кода MIT не является лицензией весов сторонних моделей.. Получено 17.10.2026.