# TranslateGemma 4B, 12B и 27B получили сжатые веса для локального перевода

Источник: https://modelium.tech/zhurnal/translategemma-4-12-27b-w4a16-gptq-local-translation/

8 октября появились сторонние 4-битные варианты TranslateGemma для перевода на своём оборудовании: 4B, 12B и 27B, каждый в сборках GPTQ и AWQ. Веса доступны, но это не новая модель Google и не готовая программа с кнопкой «Перевести»: автор показывает запуск через vLLM, инструмент для технически подготовленных пользователей. Редакция не запускала модели и не проверяла заявленное качество перевода.

8 октября автор upshift выложил шесть сторонних сборок TranslateGemma: модели 4B, 12B и 27B, каждая в двух вариантах сжатия. Для человека, который хочет переводить документы на собственном оборудовании, это выбор между размером файлов и качеством, а не новая базовая модель или приложение с готовым интерфейсом. На момент проверки файлы весов есть во всех шести репозиториях. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Что именно появилось

Варианты W4A16 хранят часть весов в 4-битном виде; вычисления используют более высокую точность. GPTQ и AWQ — два способа такого сжатия. Автор сжал линейные слои языковой части, но оставил компоненты обработки изображений и выходной слой в bf16. Основа — ранее опубликованная адаптация TranslateGemma от Infomaniak для vLLM; это сторонняя переработка, не официальный выпуск новых весов Google. [s1](#src-s1) [s4](#src-s4)

В закреплённых версиях GPTQ лежит по одному файлу `model.safetensors`: 4B — 3,84 ГБ, 12B — 8,41 ГБ, 27B — 16,87 ГБ на диске (десятичные ГБ, округлено). Это размер файлов загрузки, **не** минимальное требование к оперативной памяти или видеопамяти. Аналогичные AWQ-пакеты также содержат весовые файлы; без собственного запуска мы не утверждаем, что любая из сборок поместится в конкретный компьютер. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Что известно о качестве перевода

По данным автора, модель 12B в варианте GPTQ получила 60,88 балла chrF++ на FLORES+ devtest против 61,53 у несжатой bf16-версии; для AWQ автор указывает 60,19. chrF++ сравнивает текст перевода с эталоном по фрагментам слов: выше — ближе к эталону, но балл не гарантирует качество вашего документа. В отдельном тесте Tatoeba значения для той же 12B-серии — 70,29, 70,82 и 69,39 соответственно; **эти два набора тестов нельзя смешивать в одну шкалу качества**. [s1](#src-s1)

Автор усреднял перевод на английский с 16 языков, включая русский и украинский; условия — vLLM 0.19.1, детерминированный выбор следующего токена и штраф за повторения. Для настройки сжатия использовались примеры FLORES+ и OpenSubtitles. Это опубликованное автором сравнение, а не независимый тест Modelium; результаты по отдельным языкам и на длинных личных документах из этих средних значений не следуют. Автор также предупреждает, что короткие фразы Tatoeba могли встречаться при обучении. [s1](#src-s1)

## Как понять, подходит ли вам этот выпуск

Если нужен простой перевод через графическое приложение, **ничего устанавливать из этой новости не требуется**: карточка предлагает команду `vllm serve` для запуска собственного сервера. Это инженерный путь с отдельной установкой программы и настройкой компьютера; подтверждённого нами домашнего сценария с кнопочным интерфейсом для этих сборок пока нет. Тем, кто уже использует vLLM, разумно сначала открыть [карточку 12B GPTQ](https://huggingface.co/upshift/infomaniak-translategemma-12b-it-W4A16), сверить версию и формат запроса, затем проверить перевод на своих коротких фразах: смысл и имена должны совпасть с оригиналом. Пример учебной фразы: «Встреча начнётся в пятницу в девять утра» — проверьте в результате день и время, а не только красивый стиль. Редакция модель не запускала. [s1](#src-s1)

На карточках стоит метка лицензии Gemma; официальные условия Google отдельно включают TranslateGemma и ограничения на распространение и использование. Доступные веса, открытый исходный код и безусловное коммерческое разрешение — разные вещи: перед применением изучите условия для своего сценария. У нас нет оснований обещать работу офлайн *всей* цепочки, включая интерфейс и предварительную загрузку. [s1](#src-s1) [s5](#src-s5)

**Следующий шаг:** изучите закреплённую карточку 12B GPTQ и условия Gemma; если вам важен быстрый перевод без настройки сервера, дождитесь отдельно подтверждённого руководства для обычного приложения. Источники проверены 8 октября 2026 года. [s1](#src-s1) [s5](#src-s5)

## Источники

1. [upshift: TranslateGemma 12B W4A16 GPTQ, pinned model card and manifest](https://huggingface.co/upshift/infomaniak-translategemma-12b-it-W4A16/tree/174ee12ea5d1286e9ad9f93bf4d06c0e3d3cea28) — получено 2026-10-08
2. [upshift: TranslateGemma 4B W4A16 GPTQ, pinned manifest](https://huggingface.co/upshift/infomaniak-translategemma-4b-it-W4A16/tree/71c55d126ce3ae2197597391a317336e7a4d6cfa) — получено 2026-10-08
3. [upshift: TranslateGemma 27B W4A16 GPTQ, pinned manifest](https://huggingface.co/upshift/infomaniak-translategemma-27b-it-W4A16/tree/0f1bebd3e28268aa10f6bd4b85f211d10c989caa) — получено 2026-10-08
4. [Infomaniak-AI: vLLM-compatible TranslateGemma 12B](https://huggingface.co/Infomaniak-AI/vllm-translategemma-12b-it/tree/7b92526270082454328d51b5d839c7feae73b91c) — получено 2026-10-08
5. [Google: Gemma Terms of Use, Appendix TranslateGemma](https://ai.google.dev/gemma/terms) — получено 2026-10-08