Qwimi-4B: локальная 4B-модель для вызова инструментов с GGUF-квантами

Что выпустили

Автор Qwimi-4B загрузил объединённые веса 3 октября 2026 года. Это не уменьшенная версия весов Kimi K2: исходная архитектура — Qwen3-4B-Instruct-2507, дополнительно обученная на траекториях, ответы в которых происходят из конфигурации Kimi-K2 набора Agent-Ark/Toucan-1.5M. В карточке описаны один проход обучения на 9168 примерах: одношаговые, многошаговые и нерелевантные запросы. Автор исключал примеры длиннее 4096 токенов и многошаговые записи с вызовом инструмента без его объявления. Это состав тренировочной выборки, а не результат теста на новых задачах. s1 s2

Репозиторий исходного чекпойнта содержит model-00001-of-00002.safetensors, model-00002-of-00002.safetensors, индекс, конфигурацию Qwen3 и шаблон чата. По зафиксированной ревизии API оба весовых шарда присутствуют; это проверка состава публикации, не проверка работы модели или качества вызовов. Карточка помечена Apache-2.0, как и карточка исходной Qwen3-4B-Instruct-2507. В репозитории Qwimi нет отдельного файла LICENSE; правовой режим набора обучающих данных этой проверкой не установлен. Не приравнивайте открытый доступ к весам к подтверждённому праву на все коммерческие сценарии без собственной проверки данных и лицензий. s1 s3

Что изменилось для локального запуска

4 октября независимый конвертер mradermacher загрузил 12 самостоятельных GGUF-файлов Qwimi-4B, в том числе Qwimi-4B.Q4_K_M.gguf, Qwimi-4B.Q8_0.gguf и Qwimi-4B.f16.gguf. Каждый файл — отдельный вариант квантования, их не требуется скачивать все одновременно. В карточке конверсии указан исходный репозиторий, но отдельная лицензия в метаданных GGUF-репозитория не обозначена; при применении учитывайте условия исходных весов. Размер файла говорит о загрузке и хранении, но не задаёт минимальную RAM или VRAM. s4 s5

Для первой локальной проверки выберите один GGUF, например Q4_K_M, скачайте его из закреплённой ревизии и откройте в совместимом приложении на базе llama.cpp с шаблоном чата, сохранённым в GGUF. Стабильный llama.cpp v0.5.0 документирует локальный запуск GGUF через свой CLI; Modelium не исполнял этот чекпойнт, поэтому совместимость именно данной конверсии и правильность форматирования tool calls остаются предметом вашей проверки. Если инструментальная обвязка не понимает шаблон, сравните вывод с исходным Safetensors и шаблоном chat_template.jinja, не подменяйте реальные вызовы произвольным текстом. s1 s4 s6

Как оценить пользу, а не только наличие файлов

Составьте небольшой фиксированный набор задач для вашего агента: выбор нужного инструмента из нескольких, корректные аргументы, отказ от вызова при нерелевантном запросе и цепочка из двух шагов. Сохраните объявления инструментов, ожидаемые ответы, версии runtime и конверсии, затем сравните Qwimi-4B с исходной Qwen3-4B-Instruct-2507 на тех же данных. Для многошаговой задачи проверяйте реальный результат выполнения инструмента и продолжение диалога, а не только похожую на JSON строку. Это предлагаемая методика проверки, не опубликованный бенчмарк и не результаты Modelium. s1 s3

Карточка Qwimi не приводит независимой оценки, частоты успешных вызовов и сравнения с базовой Qwen на отложенных задачах. Число 9168 описывает обучение, а не доказанное повышение качества. Если проект требует надёжной маршрутизации действий, не отправляйте на модель реальные операции до теста на собственных инструментах и проверки прав на используемые данные. s1