Lythri на Gemma 4: две модели для локального диалога и восемь GGUF

Что можно скачать

У каждой исходной модели опубликован model.safetensors вместе с конфигурацией и токенизатором. Для обеих есть по четыре отдельных файла GGUF: Q4_K_M, Q5_K_M, Q6_K и Q8_0. Наличие всех восьми проверяется по файловым манифестам закреплённых ревизий и истории загрузки 1 октября. Это выбор формата, не опубликованное требование к RAM или VRAM и не обещание одинакового качества всех квантов. s1 s2 s3 s4

Автор карточек предупреждает, что Lythri чувствительна к квантованию, и советует выбирать более точный вариант, если позволяет оборудование. В карточке GGUF приведены способы запуска через llama.cpp и Ollama, но Modelium не проводил собственного запуска и не подтверждает совместимость с любой конкретной версией runtime или телефона. Для пробного сравнения можно начать с авторского репозитория Lythri/Lythri-7B-A4B-GGUF и явно выбрать Q8_0, затем сопоставить ответы с исходной моделью на своих англоязычных примерах; убедитесь, что используемое приложение поддерживает Gemma 4 и выбранный файл. s3 s4

Как читать название и результаты

Суффиксы A2B и A4B в именах Lythri не доказывают маршрутизацию MoE. В закреплённых config.json указаны Gemma 4 text-конфигурации без параметров числа экспертов; Google относит исходные E2B/E4B к плотным моделям и объясняет E как effective parameters, а не число активных экспертов. Поэтому мы не выдаём маркировку автора за проверенный MoE или размер задействованной части сети. s1 s2 s5 s6

Для 7B карточка приводит предварительные внутренние zero-shot оценки: GoEmotions Macro F1 — 31,54 против 8,00 у приведённой авторами Gemma 4 E4B; EmoBench — 46,83 против 31,39. Полного технического отчёта пока нет, а отдельный машинный файл оценки перечисляет MMLU-Pro, GPQA Diamond и GSM8K, не эти эмоциональные тесты. Это заявления авторов, не независимая репликация и не проверка безопасности эмоциональной поддержки. У 4B подробные результаты обещаны позже. s1 s7

Все четыре карточки помечены Apache-2.0; исходные Google E2B/E4B тоже отмечены Apache-2.0. Отдельного файла LICENSE в манифестах Lythri нет, поэтому пользователю коммерческого проекта следует проверить условия правообладателей и зависимости самостоятельно: метка лицензии не является доказательством работы модели, безопасности применения или бесплатной инфраструктуры. s1 s2 s3 s4 s5

Кому полезно: разработчикам локального англоязычного компаньона и исследователям, которым нужен воспроизводимый набор исходных и GGUF-весов для собственного сравнения приватности, ответа и деградации при квантовании. Модель может ошибаться или давать неуместные советы; авторы прямо пишут, что она не заменяет профессиональную помощь. Не используйте её как автономный инструмент кризисной или медицинской поддержки. s1 s2