GigaChat: какие модели открыты и что запускать локально

Какие GigaChat можно скачать, а какие доступны только через сервис?

Название GigaChat объединяет разные продукты. Документация Сбера описывает GigaChat-3-Ultra как API-модель; по этому названию нельзя сделать вывод, что открытый checkpoint имеет те же веса, лицензию и возможности. Отдельно команда опубликовала веса GigaChat 3 и карточки ai-sage на Hugging Face. Для локального запуска выбирайте точный репозиторий и ревизию, а не только имя сервиса. s1 s3 s7

• Ранее выпущенная GigaChat-20B-A3B-instruct-v1.5: её карточка указывает BF16, INT8, GGUF и пометку MIT. Это не GigaChat 3.1. Примеры кода в карточке используют идентификатор без -v1.5, поэтому перед копированием любого примера проверяйте, к какому checkpoint он обращается. s2
• GigaChat 3.1 Lightning: карточка конкретного ai-sage/GigaChat3.1-10B-A1.8B-GGUF называет 10 млрд параметров всего и 1,8 млрд активных за шаг MoE. В дереве закреплённой ревизии присутствуют bf16.gguf, q4_K_M.gguf, q6_K.gguf, q8_0.gguf. Пометка license: mit относится к этой карточке весов, не автоматически к облачному API. s3 s4
• GigaChat 3.5 Ultra и 3.5 Reasoning — два разных репозитория GGUF для моделей с 432 млрд параметров всего и 28 млрд активных; Reasoning имеет отдельный режим рассуждения. Это не компактная альтернатива 3.1 для первой пробы и не доказательство, что обычный домашний ПК справится с ними: проверяйте полный состав файлов, формат и поддержку runtime. s5 s6

В старшем исходном репозитории GigaChat 3 перечислены Lightning и Ultra Preview. Он фиксирует свой этап выпуска, но не представляет собой полный каталог более поздних 3.1/3.5. Нельзя объявлять эти поздние версии отсутствующими по старому списку. s7

Что выбрать под свою задачу и железо?

Если нужен первый локальный тест русскоязычного ассистента, начните с 3.1 Lightning GGUF Q4_K_M и короткого обезличенного диалога: репозиторий помечает ru/en и публикует этот файл. Для контента компании сначала определите, какие входные данные разрешено передавать модели, затем сравните результат с ожидаемым ответом на своей выборке. Заявления автора о качестве на тестах и скорости при H100 не являются независимым измерением Modelium и не предсказывают качество на ваших документах. s3 s4

Файл GigaChat3.1-10B-A1.8B-q4_K_M.gguf в указанной ревизии занимает 6 474 702 976 байт. Это размер одного файла весов, не минимум RAM/VRAM: при запуске добавятся KV-кеш, буферы и расходы runtime; размещение CPU/GPU зависит от параметров и оборудования. 1,8 млрд активных у MoE — не размер всех хранимых весов; прежде чем подбирать железо, оцените его по практическому разбору памяти и данным собственного запуска. Для 3.5 Ultra и Reasoning нужен отдельный расчёт по всем файлам выбранного кванта и инфраструктуре, а не экстраполяция по активным параметрам. s3 s4 s5 s6

Что разрешает лицензия?

Карточки перечисленных 20B v1.5, 3.1 GGUF и 3.5 GGUF помечены MIT. README проекта GigaChat 3 отдельно говорит о коммерческом использовании опубликованных там Lightning и Ultra Preview; текст MIT требует сохранять уведомления о правах и сам текст лицензии при распространении. Это не юридическое заключение, не обещание, что все сторонние GGUF-перепаковки имеют те же условия, и не перенос MIT на API Сбера: для проекта проверяйте условия конкретных весов, зависимостей и способа применения. s2 s3 s5 s6 s7 s8

Как дойти до проверяемого локального ответа?

1. Выберите именно ai-sage/GigaChat3.1-10B-A1.8B-GGUF и квантизацию q4_K_M из закреплённой ревизии. Не подменяйте его старым 3.0 Lightning или удалённым GigaChat-3-Ultra; сохраните точную ревизию при скачивании. s1 s3 s4
2. Откройте гайд llama.cpp. Авторская карточка 3.1 для своего примера указывает llama.cpp не ниже build 8495, cmake не ниже 3.28.3 и запуск llama-server с выбранным локальным GGUF. Эти значения — требования авторского примера, а не универсальный аппаратный минимум; нынешнюю совместимость конкретной сборки проверяйте по её документации и запуску. В опубликованном shell-примере автора комментарий после обратного слеша переноса строки небезопасен для буквального копирования, поэтому здесь не выдаётся непроверенная полная команда за рабочую. s3
3. После запуска локально отправьте короткий обезличенный тестовый запрос на localhost:8080/v1/chat/completions, как показывает карточка. Проверьте, что пришёл текст от выбранного локального сервера, сохраните тег/ревизию, параметры запуска, аппаратную конфигурацию и ожидаемый ответ; один правдоподобный текст не доказывает ни качество, ни отсутствие облачного маршрута. При несовместимости проверьте поддержку формата GGUF и выбранный файл до настройки длинного контекста. Modelium этого запуска не проводил. s3 s4

Для сравнения по русской задаче откройте маршрут выбора кандидатов; для оценки доступной памяти — гайд по железу. Основной следующий шаг: гайд llama.cpp и собственный короткий тест 3.1 GGUF на разрешённых данных. s3 s4