# Локальные LLM для русского языка: как выбрать и проверить

Источник: https://modelium.tech/zhurnal/lokalnye-llm-dlya-russkogo-yazyka/

«Русские LLM» могут означать модели российских разработчиков или любые модели, способные отвечать по-русски. Для локального пилота сравните конкретные веса Qwen3-8B, YandexGPT 5 Lite 8B Instruct и GigaChat3-10B-A1.8B на одинаковых собственных заданиях; проверяйте лицензию, формат и фактическое размещение на вашем устройстве. Ни происхождение модели, ни рекламный benchmark не гарантируют точность на ваших документах.

**Проверено 1 октября 2026 года.** Здесь сравниваются конкретные карточки Qwen3-8B (`b968826d`), YandexGPT-5-Lite-8B-instruct (`b5568117`) и GigaChat3.1-10B-A1.8B-bf16 (`189fff27`), а не все версии семейств. Документация каталогов проверена на дату чтения. Собственных запусков и замеров Modelium не проводил. [s1](#src-s1) [s2](#src-s2) [s4](#src-s4)

## Что означает «русская LLM» в вашем запросе?

Разведите два разных критерия: **происхождение весов** и **качество ответа на русском**. У Яндекса есть YandexGPT 5 Lite 8B Instruct с карточкой `ru/en`; у ai-sage — GigaChat3.1-10B-A1.8B-bf16 с той же языковой пометкой. Qwen3-8B — многоязычный кандидат: его карточка заявляет поддержку более ста языков, но это заявление автора о семействе, а не замер точности именно вашего русского сценария. Национальность разработчика не заменяет тест. [s2](#src-s2) [s4](#src-s4) [s1](#src-s1)

Выберите **один проверяемый выход**, например извлечь реквизиты из обезличенного счёта с указанием исходного фрагмента, ответить на вопрос по внутренней инструкции без выдуманных ссылок или переформулировать деловое письмо с сохранением чисел. Для документа сначала нужен правильный поиск и извлечение текста: неверный исходный фрагмент нельзя вылечить сменой LLM. Маршрут задачи — кандидат → доступное железо → runtime → одинаковый вход → ручная сверка ответа; общий выбор оборудования разобран [отдельно](/zhurnal/lokalnye-llm/).

## Какие веса поставить в короткий список?

**Qwen3-8B** — конкретный многоязычный checkpoint на 8,2 млрд параметров. Карточка отмечает Apache-2.0, нативный контекст 32 768 токенов и отдельное расширение контекста через YaRN; не приписывайте этот расширенный предел без настройки тегу другого runtime. У модели есть режимы thinking и non-thinking: при сравнении фиксируйте режим и шаблон диалога, иначе сопоставляются разные условия. В каталоге Ollama есть отдельный тег `qwen3:8b`; связь конкретного тега с точной ревизией HF надо проверять по метаданным загруженного артефакта, а не объявлять их побайтово одинаковыми. [s1](#src-s1) [s7](#src-s7)

**YandexGPT-5-Lite-8B-instruct** — 8B instruct-вариант с заявленным контекстом 32k; авторы отдельно опубликовали GGUF. В карточке описаны запуск через Transformers и vLLM, а GGUF-карточка предлагает llama.cpp и Ollama. Особенно важно не брать произвольный шаблон чата: авторы описывают нестандартное завершение ответа и предупреждают, что интерактивный вывод может отличаться от генерации на фиксированном диалоге. Авторская оценка превосходства на отдельных русскоязычных тестах не является независимым сравнением Modelium. [s2](#src-s2) [s5](#src-s5)

**GigaChat3.1-10B-A1.8B-bf16** — отдельный MoE-checkpoint: авторы указывают 10B общих и 1,8B активных параметров, карточка размечена MIT и приводит запуск через vLLM либо SGLang; отдельно указан GGUF-вариант, который не следует считать теми же байтами. Число *активных* параметров не означает, что при размещении нужны веса только 1,8B: проверять надо фактическое потребление на своей конфигурации. Заявленные авторами скорость и результаты сравнений относятся к их стенду и условиям, поэтому здесь они не превращаются в рейтинг русского языка. Этот bf16-кандидат не следует выдавать за готовый GGUF-тег Ollama. [s4](#src-s4)

Эти три пункта — **маршруты для проверки**, не тройка победителей. Если устройство не вмещает выбранный формат или задержка мешает задаче, смените формат/квантование или кандидата, фиксируя точную ревизию и метод запуска. Масса файла на диске — не минимум RAM/VRAM: влияют runtime, KV-кеш, контекст, параллелизм и прочие процессы. Практическую оценку делайте по [гайду для видеокарты](/zhurnal/videokarta-dlya-llm/) и реальному измерению, не по числу «8B» в названии. [s1](#src-s1) [s2](#src-s2) [s4](#src-s4)

## Лицензия: можно ли применять в компании?

У карточки **Qwen3-8B** указана Apache-2.0, у конкретного **GigaChat3.1-10B-A1.8B-bf16** — MIT. Это пометки названных репозиториев, не обещание одинаковых прав на все версии, GGUF-пересборки, датасеты и приложение вокруг модели. Проверяйте полный текст лицензии выбранного артефакта и зависимости перед корпоративным использованием. [s1](#src-s1) [s4](#src-s4)

У **YandexGPT 5 Lite 8B** другая лицензия: текст предусматривает коммерческие цели на установленных условиях. При достижении **10 миллионов выходных токенов за месяц** требуется обратиться к Яндексу в течение 30 календарных дней, следующих за этим месяцем, для согласования дальнейшего использования; также есть условия указания авторства при распространении. Это не универсальное разрешение «без ограничений» и не юридическое заключение для вашего случая. Не путайте токены на выходе с суммой входных и выходных токенов. [s3](#src-s3)

## Как подготовить первый локальный прогон?

Сначала проверьте устройство, свободную память, ОС и применимость runtime, затем загрузите только одного кандидата. Для **Qwen3-8B** в каталоге Ollama указан тег `qwen3:8b`; способ установки и первого запуска — в [гайде Qwen](/zhurnal/qwen-lokalno/). Запишите полученную версию и конфигурацию, а не только имя семейства. Первое получение весов требует сети, если артефакт не был подготовлен заранее. [s7](#src-s7)

Для **YandexGPT** используйте официальный GGUF-репозиторий: он документирует запуск через llama.cpp (`llama-cli` или `llama-server`) и через Ollama `ollama run yandex/YandexGPT-5-Lite-8B-instruct-GGUF`. Это команда из карточки автора, **не результат нашего прогона** и не утверждение, что любой размер контекста или ОС сработает. При собственном импорте другого GGUF в Ollama документация требует `FROM /path/to/file.gguf` в Modelfile и `ollama create`; импорт сам по себе GGUF не квантизует. Если необходима точная оценка качества диалога, учитывайте предупреждение авторов об интерактивном режиме и проводите тест с одинаковым шаблоном/параметрами. [s5](#src-s5) [s6](#src-s6)

Для **GigaChat3.1 bf16** карточка показывает `vllm serve ai-sage/GigaChat3.1-10B-A1.8B-bf16` с отдельной speculative-конфигурацией. Не переносите её без проверки версии vLLM и ресурсов; для первого пилота достаточно понять, поддерживается ли этот точный checkpoint в вашей среде. Карточка также показывает пример Transformers и SGLang. Путь установки runtime — [материал о vLLM](/zhurnal/vllm/). Воспроизводимого локального прогона этих команд в Modelium нет. [s4](#src-s4)

## Как сравнить русский ответ, а не рекламные числа?

Соберите небольшой **одинаковый набор обезличенных русских заданий** из своего процесса. Для извлечения полей фиксируйте ожидаемые значения и страницы-источники; для ответов по документам — правильный фрагмент и допустимый отказ «не найдено»; для письма — список чисел и фактов, которые нельзя менять. Не используйте секреты или персональные данные на тестовом этапе без утверждённого процесса защиты. Сохраните вход, ревизию весов, формат, квантование, шаблон чата, параметры генерации, доступное железо и измеренный контекст.

Каждый ответ проверьте вручную: верные факты, пропущенные поля, выдуманные ссылки, изменения чисел, соблюдение инструкции. Отдельно измерьте задержку, пиковые RAM/VRAM и стабильность на нескольких повторениях. Если тестируется RAG, оценивайте извлечение релевантного фрагмента и обоснованность ответа **раздельно**; [протокол для RAG](/zhurnal/ocenka-kachestva-rag/) помогает не списать ошибку поиска на модель.

MERA — опубликованная исследователями методика русскоязычной оценки с **21 задачей по 10 навыкам** и фиксированными zero-/few-shot постановками. Это пример необходимости одинаковых условий, **не** подтверждение, что перечисленные здесь свежие checkpoints прошли между собой сопоставимый тест или подходят для вашего договора/счёта. Числа в карточках YandexGPT и GigaChat остаются **утверждениями их авторов** в собственных условиях; общего независимого рейтинга трёх кандидатов мы не вычисляли. [s8](#src-s8) [s2](#src-s2) [s4](#src-s4)

## Когда остановиться и что делать дальше?

Если первая модель путает реквизиты, сочиняет источник или не помещается с вашим контекстом, не «улучшайте» отчёт ручной выборкой удачных ответов. Зафиксируйте отрицательный результат, уменьшите ввод или поменяйте подход; для документов отдельно оцените OCR и поиск. Если модель соответствует вашим критериям на разрешённых данных, сохраните точный стек и журнал проверок, прежде чем давать ей реальные действия. Модель на русском с высоким авторским баллом не заменяет проверку специалиста в бухгалтерских, юридических или кадровых процессах.

**Основной следующий шаг:** [откройте гайд Qwen для первого локального запуска](/zhurnal/qwen-lokalno/), получите один проверяемый ответ на своём устройстве и только затем повторите *те же* задания на подходящих YandexGPT или GigaChat. Это рекомендация по процессу, не утверждение, что Qwen лучше других в русском языке.

## Источники

1. [Qwen — Qwen3-8B, карточка checkpoint](https://huggingface.co/Qwen/Qwen3-8B/blob/b968826d9c46dd6066d109eabc6255188de91218/README.md) — получено 2026-10-01
2. [Яндекс — YandexGPT-5-Lite-8B-instruct, карточка](https://huggingface.co/yandex/YandexGPT-5-Lite-8B-instruct/blob/b556811768376b46c69caab60c4d1b69df9faaa1/README.md) — получено 2026-10-01
3. [Яндекс — лицензионное соглашение YandexGPT 5 Lite 8B](https://huggingface.co/yandex/YandexGPT-5-Lite-8B-instruct/blob/b556811768376b46c69caab60c4d1b69df9faaa1/LICENSE) — получено 2026-10-01
4. [ai-sage — GigaChat3.1-10B-A1.8B-bf16, карточка](https://huggingface.co/ai-sage/GigaChat3.1-10B-A1.8B-bf16/blob/189fff27a1dee68473960c3d5bca53e0e07a3191/README.md) — получено 2026-10-01
5. [Яндекс — YandexGPT-5-Lite-8B-instruct-GGUF, запуск и шаблон](https://huggingface.co/yandex/YandexGPT-5-Lite-8B-instruct-GGUF/blob/9fe287d2f512503046bb008aed350f2b4bbb903d/README.md) — получено 2026-10-01
6. [Ollama — импорт существующего GGUF в Modelfile](https://github.com/ollama/ollama/blob/98acec40ae2b3ed361fc5117e5b2ae81a4bf5c18/docs/import.mdx) — получено 2026-10-01
7. [Ollama — каталог тегов qwen3](https://ollama.com/library/qwen3) — получено 2026-10-01
8. [Fenogenova et al. — MERA: A Comprehensive LLM Evaluation in Russian, ACL 2024](https://aclanthology.org/2024.acl-long.534/) — получено 2026-10-01