# Kimi K3 локально: веса MXFP4, GGUF, лицензия и выбор runtime

Источник: https://modelium.tech/zhurnal/kimi-k3/

Kimi K3 — открытые веса Moonshot AI для мультимодальной MoE-модели; официальная ревизия содержит MXFP4-веса, а Unsloth предлагает отдельные GGUF-кванты. Для серверного запуска авторы направляют к vLLM или SGLang; GGUF требует проверки конкретного fork/версии движка. 104 млрд активируемых параметров не означают, что модель помещается в обычную видеокарту: память и качество на своём железе нужно измерить.

Сведения сверены 2 октября 2026 года по ревизии официальных весов `f831ab66`, Git `3cb39dfd` и стороннего GGUF `a0836360`. Wordstat «kimi k3» — 426 широких запросов по всей России за скользящие 30 дней, сбор 17 сентября; не показатель роста. Modelium не запускал модель и не измерял её скорость, качество и память.

## Какой именно Kimi K3 доступен локально?

`moonshotai/Kimi-K3` — официальный checkpoint Moonshot AI. Авторы называют его мультимодальной смесью экспертов (MoE) с 2,8 трлн параметров всего и 104 млрд активируемых при обработке токена. Это не два размера весов на выбор: активация части экспертов уменьшает вычисления на токен, но не означает, что на диск или в память нужно загрузить лишь 104 млрд параметров [s1](#src-s1) [s2](#src-s2). В `config.json` указаны 93 слоя, визуальный энкодер и предел позиции 1 048 576; заявленный длинный контекст не обещает фактической ёмкости сервера и устойчивого качества поиска в длинном документе [s1](#src-s1) [s2](#src-s2).

У закреплённой ревизии HF есть **96 шардов** `model-00001-of-000096.safetensors` … `model-00096-of-000096.safetensors`, индекс весов, конфигурация и код архитектуры. Это подтверждает наличие файлов в inventory, а не то, что скачивание, распределённая загрузка или инференс были проверены Modelium [s3](#src-s3). Авторы описывают собственный MXFP4-формат весов с MXFP8-активациями; не путайте его с GGUF или произвольным 4-битным файлом для домашнего ноутбука [s1](#src-s1) [s2](#src-s2).

## Как выбрать MXFP4 или GGUF и подходящий runtime?

- **Сервер с подходящими ускорителями:** начните с официального checkpoint и recipe для [vLLM](/zhurnal/vllm/) либо [SGLang](/zhurnal/sglang/), на которые ссылается сам автор [s1](#src-s1) [s5](#src-s5). До загрузки сопоставьте архитектуру, поддержку MXFP4 и версию движка из recipe с собственными GPU, объёмом доступной памяти и желаемым контекстом. Наличие recipe не является результатом прогона на вашем оборудовании.

- **Эксперимент с GGUF:** в ревизии `unsloth/Kimi-K3-GGUF` есть шардированные наборы `UD-IQ1_M`, `UD-Q4_K_XL`, `UD-Q8_K_XL` и отдельные `mmproj` для изображения. Это сторонняя квантизация базовой модели, а не второй официальный Kimi K3 checkpoint; автор упаковки указывает собственный fork llama.cpp или Unsloth Studio [s6](#src-s6) [s7](#src-s7). Из наличия GGUF нельзя вывести совместимость с любой версией стандартного llama.cpp, Ollama или LM Studio; сначала проверьте поддерживаемую сборку и все шарды выбранного кванта. [Разбор GGUF](/zhurnal/gguf-i-kvantovanie/) объясняет различие файла и режима вычисления.

- **Нет подтверждённого бюджета железа:** не начинайте с рекламного значения контекста. Память под веса, KV-кеш и служебные данные проверяется для выбранной версии runtime и параллелизма, а не по одному числу активных параметров или размеру архива. [Как оценить память](/zhurnal/videokarta-dlya-llm/) — отдельный шаг выбора железа [s1](#src-s1) [s2](#src-s2) [s3](#src-s3).

Если вам нужен просто текстовый ответ на одном компьютере, не выбирайте эту огромную модель лишь из-за числа параметров. Сначала определите сценарий: например, нужны ли изображение и инструменты, кто контролирует вызовы функций и какой объём оборудования доступен. [Схема выбора мультимодальной модели](/zhurnal/multimodalnye-modeli/) помогает сформулировать тип входа, но сама по себе не доказывает качество Kimi K3 на русских документах [s1](#src-s1).

## Какие ограничения лицензии и авторских оценок важны?

У этого checkpoint в метаданных стоит `license: other`, `license_name: kimi-k3`, не Apache 2.0. Текст **Kimi K3 License** прямо включает веса и код и устанавливает условия сохранения уведомления; отдельно оговаривает крупный Model-as-a-Service и отображение имени в крупных коммерческих продуктах, с исключениями для внутреннего применения и официальных каналов. Проверьте текст лицензии и собственный сценарий использования до коммерческого внедрения, не выводя разрешение из слова «открытая» [s3](#src-s3) [s4](#src-s4) [s5](#src-s5). Сторонняя GGUF-карточка также помечена `kimi-k3`; это не новая лицензия на весь стек [s6](#src-s6).

Карточка Moonshot AI содержит авторские результаты для кодирования, агентных задач и визуальных тестов при определённых режимах reasoning и инструментах; режимы и методики разных сравнений отличаются. Это **заявления автора**, а не независимый бенчмарк Modelium или прогноз для русского договора, вашего GPU и вашей конфигурации [s1](#src-s1) [s5](#src-s5). Таблица карточки перечисляет текст и изображение; описание также упоминает видео, но поддержку конкретного формата видеовхода и recipe нужно подтвердить отдельно на выбранном runtime [s1](#src-s1).

## Как проверить результат перед реальной нагрузкой?

- Зафиксируйте HF SHA, конкретную версию vLLM/SGLang или GGUF fork, список файлов выбранного кванта, конфигурацию GPU и лимит контекста. Не считайте `lastModified` датой выхода модели или аппаратным требованием [s3](#src-s3) [s5](#src-s5) [s6](#src-s6).

- На тестовом окружении откройте рецепт производителя для своего runtime и добейтесь одного ответа на обезличенный контрольный запрос. Для GGUF отдельно проверьте, что все части одного набора весов и необходимый для визуального сценария проектор загружены; снимите фактическую память и ошибки логов [s5](#src-s5) [s6](#src-s6) [s7](#src-s7).

- Если нужен tool calling, используйте только заранее разрешённый тестовый инструмент и вручную проверьте имя, аргументы и отсутствие самостоятельного исполнения опасного действия. Документация автора требует сохранять полное сообщение ассистента, включая `reasoning_content` и `tool_calls`, для продолжения диалога; отсутствие этого поля в клиенте может менять поведение [s1](#src-s1) [s5](#src-s5).

- Сравните ответы на собственных русских вопросах, в том числе с длинным документом и примером отсутствующего факта. Отдельно запишите задержку, размещение весов и пиковую память. Modelium такой эксперимент не проводил; «1 миллион токенов» и авторская таблица оценок не заменяют его [s1](#src-s1) [s2](#src-s2).

**Следующий шаг:** [сверить вариант запуска с гайдом vLLM](/zhurnal/vllm/) и с актуальной recipe автора на подготовленном тестовом сервере; если у вас только обычный ноутбук, сначала проверьте бюджет памяти, а не скачивайте 96 шардов вслепую [s3](#src-s3) [s5](#src-s5).

## Источники

1. [Moonshot AI — карточка Kimi K3](https://huggingface.co/moonshotai/Kimi-K3/blob/f831ab66814297da540d832a5235f8e904f29d06/README.md) — получено 2026-10-02
2. [Moonshot AI — конфигурация Kimi K3](https://huggingface.co/moonshotai/Kimi-K3/blob/f831ab66814297da540d832a5235f8e904f29d06/config.json) — получено 2026-10-02
3. [Hugging Face — полный inventory закреплённой ревизии](https://huggingface.co/api/models/moonshotai/Kimi-K3/revision/f831ab66814297da540d832a5235f8e904f29d06) — получено 2026-10-02
4. [Moonshot AI — текст Kimi K3 License](https://huggingface.co/moonshotai/Kimi-K3/blob/f831ab66814297da540d832a5235f8e904f29d06/LICENSE) — получено 2026-10-02
5. [Moonshot AI — README GitHub проекта Kimi K3](https://github.com/MoonshotAI/Kimi-K3/blob/3cb39dfd32e51c3328e2e4b4af21341247d06c43/README.md) — получено 2026-10-02
6. [Unsloth — карточка Kimi K3 GGUF](https://huggingface.co/unsloth/Kimi-K3-GGUF/blob/a0836360ce58dfec088d966a97f2ddc8a606279b/README.md) — получено 2026-10-02
7. [Hugging Face — inventory GGUF-квантов Unsloth](https://huggingface.co/api/models/unsloth/Kimi-K3-GGUF/revision/a0836360ce58dfec088d966a97f2ddc8a606279b) — получено 2026-10-02