TranslateGemma 4B, 12B и 27B получили сжатые веса для локального перевода

Что именно появилось

Варианты W4A16 хранят часть весов в 4-битном виде; вычисления используют более высокую точность. GPTQ и AWQ — два способа такого сжатия. Автор сжал линейные слои языковой части, но оставил компоненты обработки изображений и выходной слой в bf16. Основа — ранее опубликованная адаптация TranslateGemma от Infomaniak для vLLM; это сторонняя переработка, не официальный выпуск новых весов Google. s1 s4

В закреплённых версиях GPTQ лежит по одному файлу model.safetensors: 4B — 3,84 ГБ, 12B — 8,41 ГБ, 27B — 16,87 ГБ на диске (десятичные ГБ, округлено). Это размер файлов загрузки, не минимальное требование к оперативной памяти или видеопамяти. Аналогичные AWQ-пакеты также содержат весовые файлы; без собственного запуска мы не утверждаем, что любая из сборок поместится в конкретный компьютер. s1 s2 s3

Что известно о качестве перевода

По данным автора, модель 12B в варианте GPTQ получила 60,88 балла chrF++ на FLORES+ devtest против 61,53 у несжатой bf16-версии; для AWQ автор указывает 60,19. chrF++ сравнивает текст перевода с эталоном по фрагментам слов: выше — ближе к эталону, но балл не гарантирует качество вашего документа. В отдельном тесте Tatoeba значения для той же 12B-серии — 70,29, 70,82 и 69,39 соответственно; эти два набора тестов нельзя смешивать в одну шкалу качества. s1

Автор усреднял перевод на английский с 16 языков, включая русский и украинский; условия — vLLM 0.19.1, детерминированный выбор следующего токена и штраф за повторения. Для настройки сжатия использовались примеры FLORES+ и OpenSubtitles. Это опубликованное автором сравнение, а не независимый тест Modelium; результаты по отдельным языкам и на длинных личных документах из этих средних значений не следуют. Автор также предупреждает, что короткие фразы Tatoeba могли встречаться при обучении. s1

Как понять, подходит ли вам этот выпуск

Если нужен простой перевод через графическое приложение, ничего устанавливать из этой новости не требуется: карточка предлагает команду vllm serve для запуска собственного сервера. Это инженерный путь с отдельной установкой программы и настройкой компьютера; подтверждённого нами домашнего сценария с кнопочным интерфейсом для этих сборок пока нет. Тем, кто уже использует vLLM, разумно сначала открыть карточку 12B GPTQ, сверить версию и формат запроса, затем проверить перевод на своих коротких фразах: смысл и имена должны совпасть с оригиналом. Пример учебной фразы: «Встреча начнётся в пятницу в девять утра» — проверьте в результате день и время, а не только красивый стиль. Редакция модель не запускала. s1

На карточках стоит метка лицензии Gemma; официальные условия Google отдельно включают TranslateGemma и ограничения на распространение и использование. Доступные веса, открытый исходный код и безусловное коммерческое разрешение — разные вещи: перед применением изучите условия для своего сценария. У нас нет оснований обещать работу офлайн всей цепочки, включая интерфейс и предварительную загрузку. s1 s5

Следующий шаг: изучите закреплённую карточку 12B GPTQ и условия Gemma; если вам важен быстрый перевод без настройки сервера, дождитесь отдельно подтверждённого руководства для обычного приложения. Источники проверены 8 октября 2026 года. s1 s5