Kimi K3 локально: веса MXFP4, GGUF, лицензия и выбор runtime

Какой именно Kimi K3 доступен локально?

moonshotai/Kimi-K3 — официальный checkpoint Moonshot AI. Авторы называют его мультимодальной смесью экспертов (MoE) с 2,8 трлн параметров всего и 104 млрд активируемых при обработке токена. Это не два размера весов на выбор: активация части экспертов уменьшает вычисления на токен, но не означает, что на диск или в память нужно загрузить лишь 104 млрд параметров s1 s2. В config.json указаны 93 слоя, визуальный энкодер и предел позиции 1 048 576; заявленный длинный контекст не обещает фактической ёмкости сервера и устойчивого качества поиска в длинном документе s1 s2.

У закреплённой ревизии HF есть 96 шардов model-00001-of-000096.safetensors … model-00096-of-000096.safetensors, индекс весов, конфигурация и код архитектуры. Это подтверждает наличие файлов в inventory, а не то, что скачивание, распределённая загрузка или инференс были проверены Modelium s3. Авторы описывают собственный MXFP4-формат весов с MXFP8-активациями; не путайте его с GGUF или произвольным 4-битным файлом для домашнего ноутбука s1 s2.

Как выбрать MXFP4 или GGUF и подходящий runtime?

• Сервер с подходящими ускорителями: начните с официального checkpoint и recipe для vLLM либо SGLang, на которые ссылается сам автор s1 s5. До загрузки сопоставьте архитектуру, поддержку MXFP4 и версию движка из recipe с собственными GPU, объёмом доступной памяти и желаемым контекстом. Наличие recipe не является результатом прогона на вашем оборудовании.
• Эксперимент с GGUF: в ревизии unsloth/Kimi-K3-GGUF есть шардированные наборы UD-IQ1_M, UD-Q4_K_XL, UD-Q8_K_XL и отдельные mmproj для изображения. Это сторонняя квантизация базовой модели, а не второй официальный Kimi K3 checkpoint; автор упаковки указывает собственный fork llama.cpp или Unsloth Studio s6 s7. Из наличия GGUF нельзя вывести совместимость с любой версией стандартного llama.cpp, Ollama или LM Studio; сначала проверьте поддерживаемую сборку и все шарды выбранного кванта. Разбор GGUF объясняет различие файла и режима вычисления.
• Нет подтверждённого бюджета железа: не начинайте с рекламного значения контекста. Память под веса, KV-кеш и служебные данные проверяется для выбранной версии runtime и параллелизма, а не по одному числу активных параметров или размеру архива. Как оценить память — отдельный шаг выбора железа s1 s2 s3.

Если вам нужен просто текстовый ответ на одном компьютере, не выбирайте эту огромную модель лишь из-за числа параметров. Сначала определите сценарий: например, нужны ли изображение и инструменты, кто контролирует вызовы функций и какой объём оборудования доступен. Схема выбора мультимодальной модели помогает сформулировать тип входа, но сама по себе не доказывает качество Kimi K3 на русских документах s1.

Какие ограничения лицензии и авторских оценок важны?

У этого checkpoint в метаданных стоит license: other, license_name: kimi-k3, не Apache 2.0. Текст Kimi K3 License прямо включает веса и код и устанавливает условия сохранения уведомления; отдельно оговаривает крупный Model-as-a-Service и отображение имени в крупных коммерческих продуктах, с исключениями для внутреннего применения и официальных каналов. Проверьте текст лицензии и собственный сценарий использования до коммерческого внедрения, не выводя разрешение из слова «открытая» s3 s4 s5. Сторонняя GGUF-карточка также помечена kimi-k3; это не новая лицензия на весь стек s6.

Карточка Moonshot AI содержит авторские результаты для кодирования, агентных задач и визуальных тестов при определённых режимах reasoning и инструментах; режимы и методики разных сравнений отличаются. Это заявления автора, а не независимый бенчмарк Modelium или прогноз для русского договора, вашего GPU и вашей конфигурации s1 s5. Таблица карточки перечисляет текст и изображение; описание также упоминает видео, но поддержку конкретного формата видеовхода и recipe нужно подтвердить отдельно на выбранном runtime s1.

Как проверить результат перед реальной нагрузкой?

1. Зафиксируйте HF SHA, конкретную версию vLLM/SGLang или GGUF fork, список файлов выбранного кванта, конфигурацию GPU и лимит контекста. Не считайте lastModified датой выхода модели или аппаратным требованием s3 s5 s6.
2. На тестовом окружении откройте рецепт производителя для своего runtime и добейтесь одного ответа на обезличенный контрольный запрос. Для GGUF отдельно проверьте, что все части одного набора весов и необходимый для визуального сценария проектор загружены; снимите фактическую память и ошибки логов s5 s6 s7.
3. Если нужен tool calling, используйте только заранее разрешённый тестовый инструмент и вручную проверьте имя, аргументы и отсутствие самостоятельного исполнения опасного действия. Документация автора требует сохранять полное сообщение ассистента, включая reasoning_content и tool_calls, для продолжения диалога; отсутствие этого поля в клиенте может менять поведение s1 s5.
4. Сравните ответы на собственных русских вопросах, в том числе с длинным документом и примером отсутствующего факта. Отдельно запишите задержку, размещение весов и пиковую память. Modelium такой эксперимент не проводил; «1 миллион токенов» и авторская таблица оценок не заменяют его s1 s2.

Следующий шаг: сверить вариант запуска с гайдом vLLM и с актуальной recipe автора на подготовленном тестовом сервере; если у вас только обычный ноутбук, сначала проверьте бюджет памяти, а не скачивайте 96 шардов вслепую s3 s5.