# Lythri на Gemma 4: две модели для локального диалога и восемь GGUF

Источник: https://modelium.tech/zhurnal/lythri-gemma4-4b-7b-gguf-local-companion/

1 октября 2026 года команда Lythri загрузила две адаптации Gemma 4 для англоязычного диалога — Lythri-4B-A2B и Lythri-7B-A4B — и по четыре GGUF-квантизации каждой. Веса доступны на Hugging Face, но оценки эмоционального понимания пока предварительные и авторские; модель нельзя считать заменой специалисту по психическому здоровью. Практический путь — локально сравнить GGUF с исходными весами на собственных диалогах, не предполагая заранее качество или потребление памяти.

Lythri на Gemma 4: локальный диалог в двух размерах

1 октября 2026 года авторы Lythri загрузили исходные веса `Lythri-4B-A2B` и `Lythri-7B-A4B` на Hugging Face; в тот же день появились отдельные репозитории GGUF. Речь не о новой базовой архитектуре, а о моделях на основе Google Gemma 4 E2B и E4B, настроенных для англоязычного диалога и эмоционально окрашенных сообщений. Репозитории созданы 1 октября; последующие правки README от 2 октября не следует считать вторым релизом весов. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4)

## Что можно скачать

У каждой исходной модели опубликован `model.safetensors` вместе с конфигурацией и токенизатором. Для обеих есть по четыре отдельных файла GGUF: `Q4_K_M`, `Q5_K_M`, `Q6_K` и `Q8_0`. Наличие всех восьми проверяется по файловым манифестам закреплённых ревизий и истории загрузки 1 октября. Это выбор формата, **не опубликованное требование к RAM или VRAM** и не обещание одинакового качества всех квантов. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4)

Автор карточек предупреждает, что Lythri чувствительна к квантованию, и советует выбирать более точный вариант, если позволяет оборудование. В карточке GGUF приведены способы запуска через llama.cpp и Ollama, но Modelium не проводил собственного запуска и не подтверждает совместимость с любой конкретной версией runtime или телефона. Для пробного сравнения можно начать с авторского репозитория `Lythri/Lythri-7B-A4B-GGUF` и явно выбрать `Q8_0`, затем сопоставить ответы с исходной моделью на своих *англоязычных* примерах; убедитесь, что используемое приложение поддерживает Gemma 4 и выбранный файл. [s3](#src-s3) [s4](#src-s4)

## Как читать название и результаты

Суффиксы `A2B` и `A4B` в именах Lythri не доказывают маршрутизацию MoE. В закреплённых `config.json` указаны Gemma 4 text-конфигурации без параметров числа экспертов; Google относит исходные E2B/E4B к плотным моделям и объясняет `E` как *effective parameters*, а не число активных экспертов. Поэтому мы не выдаём маркировку автора за проверенный MoE или размер задействованной части сети. [s1](#src-s1) [s2](#src-s2) [s5](#src-s5) [s6](#src-s6)

Для 7B карточка приводит предварительные внутренние zero-shot оценки: GoEmotions Macro F1 — 31,54 против 8,00 у приведённой авторами Gemma 4 E4B; EmoBench — 46,83 против 31,39. Полного технического отчёта пока нет, а отдельный машинный файл оценки перечисляет MMLU-Pro, GPQA Diamond и GSM8K, **не** эти эмоциональные тесты. Это заявления авторов, не независимая репликация и не проверка безопасности эмоциональной поддержки. У 4B подробные результаты обещаны позже. [s1](#src-s1) [s7](#src-s7)

Все четыре карточки помечены `Apache-2.0`; исходные Google E2B/E4B тоже отмечены Apache-2.0. Отдельного файла `LICENSE` в манифестах Lythri нет, поэтому пользователю коммерческого проекта следует проверить условия правообладателей и зависимости самостоятельно: метка лицензии не является доказательством работы модели, безопасности применения или бесплатной инфраструктуры. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3) [s4](#src-s4) [s5](#src-s5)

**Кому полезно:** разработчикам локального англоязычного компаньона и исследователям, которым нужен воспроизводимый набор исходных и GGUF-весов для собственного сравнения приватности, ответа и деградации при квантовании. Модель может ошибаться или давать неуместные советы; авторы прямо пишут, что она не заменяет профессиональную помощь. Не используйте её как автономный инструмент кризисной или медицинской поддержки. [s1](#src-s1) [s2](#src-s2)

## Источники

1. [Lythri-7B-A4B: модель, карточка, конфигурация и история коммитов](https://huggingface.co/Lythri/Lythri-7B-A4B/tree/a055d88446ac604d167a7a35db98d3b0145007a3) — получено 2026-10-02
2. [Lythri-4B-A2B: закреплённый набор весов](https://huggingface.co/Lythri/Lythri-4B-A2B/tree/24bfb8b4e78b8553b959b4011bd76dc6adaa363f) — получено 2026-10-02
3. [Lythri-7B-A4B-GGUF: четыре квантизации и инструкции автора](https://huggingface.co/Lythri/Lythri-7B-A4B-GGUF/tree/21968beba453ba99e4d71b82cb5dafd839203487) — получено 2026-10-02
4. [Lythri-4B-A2B-GGUF: четыре квантизации](https://huggingface.co/Lythri/Lythri-4B-A2B-GGUF/tree/43746875ee29866f2d22fcd9dcde1cc58ee69088) — получено 2026-10-02
5. [Google: карточка Gemma 4 E4B и описание dense/E-архитектуры](https://huggingface.co/google/gemma-4-E4B) — получено 2026-10-02
6. [Lythri-4B-A2B: закреплённый config.json](https://huggingface.co/Lythri/Lythri-4B-A2B/blob/24bfb8b4e78b8553b959b4011bd76dc6adaa363f/config.json) — получено 2026-10-02
7. [Lythri-7B-A4B: машинный список оценок](https://huggingface.co/Lythri/Lythri-7B-A4B/blob/a055d88446ac604d167a7a35db98d3b0145007a3/.eval_results/results.yaml) — получено 2026-10-02