Локальные LLM для русского языка: как выбрать и проверить

Что означает «русская LLM» в вашем запросе?

Разведите два разных критерия: происхождение весов и качество ответа на русском. У Яндекса есть YandexGPT 5 Lite 8B Instruct с карточкой ru/en; у ai-sage — GigaChat3.1-10B-A1.8B-bf16 с той же языковой пометкой. Qwen3-8B — многоязычный кандидат: его карточка заявляет поддержку более ста языков, но это заявление автора о семействе, а не замер точности именно вашего русского сценария. Национальность разработчика не заменяет тест. s2 s4 s1

Выберите один проверяемый выход, например извлечь реквизиты из обезличенного счёта с указанием исходного фрагмента, ответить на вопрос по внутренней инструкции без выдуманных ссылок или переформулировать деловое письмо с сохранением чисел. Для документа сначала нужен правильный поиск и извлечение текста: неверный исходный фрагмент нельзя вылечить сменой LLM. Маршрут задачи — кандидат → доступное железо → runtime → одинаковый вход → ручная сверка ответа; общий выбор оборудования разобран отдельно.

Какие веса поставить в короткий список?

Qwen3-8B — конкретный многоязычный checkpoint на 8,2 млрд параметров. Карточка отмечает Apache-2.0, нативный контекст 32 768 токенов и отдельное расширение контекста через YaRN; не приписывайте этот расширенный предел без настройки тегу другого runtime. У модели есть режимы thinking и non-thinking: при сравнении фиксируйте режим и шаблон диалога, иначе сопоставляются разные условия. В каталоге Ollama есть отдельный тег qwen3:8b; связь конкретного тега с точной ревизией HF надо проверять по метаданным загруженного артефакта, а не объявлять их побайтово одинаковыми. s1 s7

YandexGPT-5-Lite-8B-instruct — 8B instruct-вариант с заявленным контекстом 32k; авторы отдельно опубликовали GGUF. В карточке описаны запуск через Transformers и vLLM, а GGUF-карточка предлагает llama.cpp и Ollama. Особенно важно не брать произвольный шаблон чата: авторы описывают нестандартное завершение ответа и предупреждают, что интерактивный вывод может отличаться от генерации на фиксированном диалоге. Авторская оценка превосходства на отдельных русскоязычных тестах не является независимым сравнением Modelium. s2 s5

GigaChat3.1-10B-A1.8B-bf16 — отдельный MoE-checkpoint: авторы указывают 10B общих и 1,8B активных параметров, карточка размечена MIT и приводит запуск через vLLM либо SGLang; отдельно указан GGUF-вариант, который не следует считать теми же байтами. Число активных параметров не означает, что при размещении нужны веса только 1,8B: проверять надо фактическое потребление на своей конфигурации. Заявленные авторами скорость и результаты сравнений относятся к их стенду и условиям, поэтому здесь они не превращаются в рейтинг русского языка. Этот bf16-кандидат не следует выдавать за готовый GGUF-тег Ollama. s4

Эти три пункта — маршруты для проверки, не тройка победителей. Если устройство не вмещает выбранный формат или задержка мешает задаче, смените формат/квантование или кандидата, фиксируя точную ревизию и метод запуска. Масса файла на диске — не минимум RAM/VRAM: влияют runtime, KV-кеш, контекст, параллелизм и прочие процессы. Практическую оценку делайте по гайду для видеокарты и реальному измерению, не по числу «8B» в названии. s1 s2 s4

Лицензия: можно ли применять в компании?

У карточки Qwen3-8B указана Apache-2.0, у конкретного GigaChat3.1-10B-A1.8B-bf16 — MIT. Это пометки названных репозиториев, не обещание одинаковых прав на все версии, GGUF-пересборки, датасеты и приложение вокруг модели. Проверяйте полный текст лицензии выбранного артефакта и зависимости перед корпоративным использованием. s1 s4

У YandexGPT 5 Lite 8B другая лицензия: текст предусматривает коммерческие цели на установленных условиях. При достижении 10 миллионов выходных токенов за месяц требуется обратиться к Яндексу в течение 30 календарных дней, следующих за этим месяцем, для согласования дальнейшего использования; также есть условия указания авторства при распространении. Это не универсальное разрешение «без ограничений» и не юридическое заключение для вашего случая. Не путайте токены на выходе с суммой входных и выходных токенов. s3

Как подготовить первый локальный прогон?

Сначала проверьте устройство, свободную память, ОС и применимость runtime, затем загрузите только одного кандидата. Для Qwen3-8B в каталоге Ollama указан тег qwen3:8b; способ установки и первого запуска — в гайде Qwen. Запишите полученную версию и конфигурацию, а не только имя семейства. Первое получение весов требует сети, если артефакт не был подготовлен заранее. s7

Для YandexGPT используйте официальный GGUF-репозиторий: он документирует запуск через llama.cpp (llama-cli или llama-server) и через Ollama ollama run yandex/YandexGPT-5-Lite-8B-instruct-GGUF. Это команда из карточки автора, не результат нашего прогона и не утверждение, что любой размер контекста или ОС сработает. При собственном импорте другого GGUF в Ollama документация требует FROM /path/to/file.gguf в Modelfile и ollama create; импорт сам по себе GGUF не квантизует. Если необходима точная оценка качества диалога, учитывайте предупреждение авторов об интерактивном режиме и проводите тест с одинаковым шаблоном/параметрами. s5 s6

Для GigaChat3.1 bf16 карточка показывает vllm serve ai-sage/GigaChat3.1-10B-A1.8B-bf16 с отдельной speculative-конфигурацией. Не переносите её без проверки версии vLLM и ресурсов; для первого пилота достаточно понять, поддерживается ли этот точный checkpoint в вашей среде. Карточка также показывает пример Transformers и SGLang. Путь установки runtime — материал о vLLM. Воспроизводимого локального прогона этих команд в Modelium нет. s4

Как сравнить русский ответ, а не рекламные числа?

Соберите небольшой одинаковый набор обезличенных русских заданий из своего процесса. Для извлечения полей фиксируйте ожидаемые значения и страницы-источники; для ответов по документам — правильный фрагмент и допустимый отказ «не найдено»; для письма — список чисел и фактов, которые нельзя менять. Не используйте секреты или персональные данные на тестовом этапе без утверждённого процесса защиты. Сохраните вход, ревизию весов, формат, квантование, шаблон чата, параметры генерации, доступное железо и измеренный контекст.

Каждый ответ проверьте вручную: верные факты, пропущенные поля, выдуманные ссылки, изменения чисел, соблюдение инструкции. Отдельно измерьте задержку, пиковые RAM/VRAM и стабильность на нескольких повторениях. Если тестируется RAG, оценивайте извлечение релевантного фрагмента и обоснованность ответа раздельно; протокол для RAG помогает не списать ошибку поиска на модель.

MERA — опубликованная исследователями методика русскоязычной оценки с 21 задачей по 10 навыкам и фиксированными zero-/few-shot постановками. Это пример необходимости одинаковых условий, не подтверждение, что перечисленные здесь свежие checkpoints прошли между собой сопоставимый тест или подходят для вашего договора/счёта. Числа в карточках YandexGPT и GigaChat остаются утверждениями их авторов в собственных условиях; общего независимого рейтинга трёх кандидатов мы не вычисляли. s8 s2 s4

Когда остановиться и что делать дальше?

Если первая модель путает реквизиты, сочиняет источник или не помещается с вашим контекстом, не «улучшайте» отчёт ручной выборкой удачных ответов. Зафиксируйте отрицательный результат, уменьшите ввод или поменяйте подход; для документов отдельно оцените OCR и поиск. Если модель соответствует вашим критериям на разрешённых данных, сохраните точный стек и журнал проверок, прежде чем давать ей реальные действия. Модель на русском с высоким авторским баллом не заменяет проверку специалиста в бухгалтерских, юридических или кадровых процессах.

Основной следующий шаг: откройте гайд Qwen для первого локального запуска, получите один проверяемый ответ на своём устройстве и только затем повторите те же задания на подходящих YandexGPT или GigaChat. Это рекомендация по процессу, не утверждение, что Qwen лучше других в русском языке.