Ollama 0.34.4: JSON после thinking за один проход и ускорение Qwen 3.8 на Mac

Зачем это нужно

Если вы строите локальный агент, извлечение данных или классификатор, можно запросить одновременно think и format и получить машиночитаемый итоговый ответ, не вынуждая само рассуждение соответствовать JSON-схеме. В коде v0.34.4 удалён прежний цикл второго запроса; для backend на llama.cpp добавлена грамматика, которая переключает ограничение после строки завершения thinking, для MLX — соответствующий structural tag. Реализация зависит от распознаваемого моделью маркера завершения: это не обещание одинакового поведения любого произвольного шаблона модели. s2

На сервере с уже установленной поддерживаемой thinking-моделью проверка выглядит так (замените ИМЯ_ЛОКАЛЬНОЙ_МОДЕЛИ на имя из ollama list):

ollama --version
ollama list
curl http://localhost:11434/api/chat -d '{"model":"ИМЯ_ЛОКАЛЬНОЙ_МОДЕЛИ","messages":[{"role":"user","content":"Назови столицу Франции"}],"think":true,"format":{"type":"object","properties":{"answer":{"type":"string"}},"required":["answer"]},"stream":false}'

Команда предполагает, что модель уже есть локально; сам релиз не загружает её веса. До включения think у конкретной модели полезно проверить её допустимые режимы через ollama show или /api/show: доступные значения различаются. Наличие JSON-схемы не означает, что фактический ответ всегда верен по смыслу — валидируйте и структуру, и содержание на своей задаче. s2 s4

Изменения для Apple Silicon и локальной библиотеки

В MLX-пути для Qwen 3.8 оптимизирована обработка промпта. Авторы заявляют ускорение, но не приводят в release notes воспроизводимые цифры, модели и конфигурации Mac для сравнения; не стоит переносить ожидание ускорения на другие устройства или стадию генерации. Для изображений Gemma 4 на Apple Silicon рантайм теперь динамически выбирает одно из поддерживаемых разрешений под размеры конкретной картинки — это позволяет сохранить больше деталей исходника высокой чёткости по сравнению с прежним фиксированным режимом, но не гарантирует улучшение качества ответа в каждой задаче. s1 s2

Отдельное исправление касается случаев, когда при большой коллекции локальных моделей Ollama иногда сообщала model not found для существующей модели. Изменение канонизации имени устраняет смешивание частей имён и тегов разных записей; это полезно тем, кто держит множество вариантов и квантизаций в одном каталоге. Также релиз исправляет зависание macOS-приложения во время проверки запущенных ChatGPT или Codex и обновляет встроенные llama.cpp, MLX и XGrammar. s1 s2

Что учитывать перед обновлением

Это релиз программного обеспечения под MIT, а не публикация новой модели и не изменение условий лицензирования установленных весов. Проверяйте лицензии каждой модели отдельно. Для оценки перехода сохраните свой тестовый набор запросов с thinking + JSON и изображения Gemma 4, затем сравните результаты на собственной машине до и после обновления: авторский анонс не является независимым бенчмарком Modelium. s1 s2 s3