# Qwimi-4B: локальная 4B-модель для вызова инструментов с GGUF-квантами

Источник: https://modelium.tech/zhurnal/qwimi-4b-kimi-k2-tool-calling-gguf-local/

3 октября 2026 года автор Qwimi-4B загрузил двухчастный чекпойнт на основе Qwen3-4B-Instruct-2507, дообученный на 9168 траекториях инструментальных вызовов из набора Toucan-1.5M. 4 октября сторонний конвертер добавил 12 отдельных GGUF-вариантов для локального запуска. Карточка не публикует количественных сравнений качества tool calling; это кандидат для собственных испытаний, а не доказанная замена крупной агентной модели.

## Что выпустили

Автор Qwimi-4B загрузил объединённые веса 3 октября 2026 года. Это **не уменьшенная версия весов Kimi K2**: исходная архитектура — Qwen3-4B-Instruct-2507, дополнительно обученная на траекториях, ответы в которых происходят из конфигурации Kimi-K2 набора Agent-Ark/Toucan-1.5M. В карточке описаны один проход обучения на 9168 примерах: одношаговые, многошаговые и нерелевантные запросы. Автор исключал примеры длиннее 4096 токенов и многошаговые записи с вызовом инструмента без его объявления. Это состав тренировочной выборки, а не результат теста на новых задачах. [s1](#src-s1) [s2](#src-s2)

Репозиторий исходного чекпойнта содержит `model-00001-of-00002.safetensors`, `model-00002-of-00002.safetensors`, индекс, конфигурацию Qwen3 и шаблон чата. По зафиксированной ревизии API оба весовых шарда присутствуют; это проверка состава публикации, **не** проверка работы модели или качества вызовов. Карточка помечена Apache-2.0, как и карточка исходной Qwen3-4B-Instruct-2507. В репозитории Qwimi нет отдельного файла LICENSE; правовой режим набора обучающих данных этой проверкой не установлен. Не приравнивайте открытый доступ к весам к подтверждённому праву на все коммерческие сценарии без собственной проверки данных и лицензий. [s1](#src-s1) [s3](#src-s3)

## Что изменилось для локального запуска

4 октября независимый конвертер mradermacher загрузил 12 самостоятельных GGUF-файлов Qwimi-4B, в том числе `Qwimi-4B.Q4_K_M.gguf`, `Qwimi-4B.Q8_0.gguf` и `Qwimi-4B.f16.gguf`. Каждый файл — отдельный вариант квантования, их не требуется скачивать все одновременно. В карточке конверсии указан исходный репозиторий, но отдельная лицензия в метаданных GGUF-репозитория не обозначена; при применении учитывайте условия исходных весов. Размер файла говорит о загрузке и хранении, но не задаёт минимальную RAM или VRAM. [s4](#src-s4) [s5](#src-s5)

Для первой локальной проверки выберите один GGUF, например Q4_K_M, скачайте его из закреплённой ревизии и откройте в совместимом приложении на базе llama.cpp с шаблоном чата, сохранённым в GGUF. Стабильный llama.cpp v0.5.0 документирует локальный запуск GGUF через свой CLI; **Modelium не исполнял этот чекпойнт**, поэтому совместимость именно данной конверсии и правильность форматирования tool calls остаются предметом вашей проверки. Если инструментальная обвязка не понимает шаблон, сравните вывод с исходным Safetensors и шаблоном `chat_template.jinja`, не подменяйте реальные вызовы произвольным текстом. [s1](#src-s1) [s4](#src-s4) [s6](#src-s6)

## Как оценить пользу, а не только наличие файлов

Составьте небольшой фиксированный набор задач для вашего агента: выбор нужного инструмента из нескольких, корректные аргументы, отказ от вызова при нерелевантном запросе и цепочка из двух шагов. Сохраните объявления инструментов, ожидаемые ответы, версии runtime и конверсии, затем сравните Qwimi-4B с исходной Qwen3-4B-Instruct-2507 на тех же данных. Для многошаговой задачи проверяйте реальный результат выполнения инструмента и продолжение диалога, а не только похожую на JSON строку. Это **предлагаемая методика проверки**, не опубликованный бенчмарк и не результаты Modelium. [s1](#src-s1) [s3](#src-s3)

Карточка Qwimi не приводит независимой оценки, частоты успешных вызовов и сравнения с базовой Qwen на отложенных задачах. Число 9168 описывает обучение, а не доказанное повышение качества. Если проект требует надёжной маршрутизации действий, не отправляйте на модель реальные операции до теста на собственных инструментах и проверки прав на используемые данные. [s1](#src-s1)

## Источники

1. [Qwimi-4B: карточка и исходные веса в закреплённой ревизии](https://huggingface.co/Rumiii/Qwimi-4B/tree/89b66650e202b83444098b50ff9d2b16c2ce4b67) — получено 2026-10-04
2. [История коммитов Qwimi-4B](https://huggingface.co/api/models/Rumiii/Qwimi-4B/commits/main) — получено 2026-10-04
3. [Qwen3-4B-Instruct-2507: базовая модель и лицензия](https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507) — получено 2026-10-04
4. [Qwimi-4B-GGUF: сторонние варианты и карточка](https://huggingface.co/mradermacher/Qwimi-4B-GGUF/tree/64f875290f8176879b19237c490b97d9f0205d33) — получено 2026-10-04
5. [История загрузки GGUF-конверсии Qwimi-4B](https://huggingface.co/api/models/mradermacher/Qwimi-4B-GGUF/commits/main) — получено 2026-10-04
6. [llama.cpp v0.5.0: официальная инструкция локального запуска](https://github.com/ggml-org/llama.cpp/blob/v0.5.0/README.md) — получено 2026-10-04