# Index-Translate 35B-A3B: полные веса, GGUF и FP4 для локального перевода

Источник: https://modelium.tech/zhurnal/index-translate-35b-a3b-gguf-fp4-local-translation/

IndexTeam завершила публикацию Index-Translate-35B-A3B-preview: в закреплённой ревизии присутствуют все 15 BF16-шардов. Официальная GGUF-конверсия предлагает Q4_K_M и другие варианты для llama.cpp, а FP4-чекпойнт адресован прежде всего NVIDIA Blackwell. Это предварительная модель для перевода с управлением терминологией и форматом, а не подтверждённый Modelium тест качества или скорости.

Index-Translate 35B-A3B: полные веса и два пути локального запуска

Предварительная модель Index-Translate-35B-A3B уже не ограничена незавершённой загрузкой, о которой говорилось в материале о 2B/9B. Репозиторий BF16 создан 2 октября 2026 года, а его закреплённая ревизия того же дня содержит все 15 шардов, индекс весов, конфигурацию и токенизатор. Это 35B параметров суммарно и около 3B активных по описанию команды. Авторы заявляют текстовый перевод между 150 языками и выполнение ограничений по терминологии, стилю и структуре; preview означает, что пригодность для вашей пары языков следует проверять на собственных примерах. [s1](#src-s1) [s2](#src-s2)

## Какой пакет выбирать

**BF16** — исходный чекпойнт для сравнения качества через vLLM с поддержкой Qwen3.5. **GGUF** — официальная конверсия для llama.cpp: полный закреплённый список содержит Q2_K–Q8_0, IQ4_XS, двухчастный f16 и отдельные мультимодальные проекторы. Команда рекомендует Q4_K_M как компромисс для первого текстового теста; его файл занимает 21,71 ГБ на диске. Для текстового перевода проектор не нужен. Карточка показывает пример `llama-cli -hf IndexTeam/Index-Translate-35B-A3B-preview-GGUF:Q4_K_M --jinja --chat-template-kwargs '{"enable_thinking":false}' --temp 0`; сверяйте синтаксис с установленной версией llama.cpp. Не принимайте размер файла за минимальную RAM или VRAM. История HF показывает загрузку GGUF 2 октября, тогда как авторская карточка датирует выпуск конверсии 3 октября. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4)

**NVFP4** — отдельный официальный W4A4-чекпойнт, созданный 3 октября и загруженный 4 октября: все три основных Safetensors-шарда, индекс, MTP-файл и конфигурация ModelOpt присутствуют в закреплённом дереве. Карточка предлагает vLLM и говорит, что аппаратное ускорение FP4 требует NVIDIA Blackwell; для других GPU команда рекомендует FP8. Конфигурация исключает часть линейных проекций и визуальный модуль из квантизации, поэтому упрощённое описание «все Linear» в карточке нельзя читать буквально. Modelium не проверял реальный запуск или выигрыш скорости. [s5](#src-s5) [s6](#src-s6)

## Что говорят проверки авторов

Команда сообщает, что для GGUF сравнила квантизации с f16 на A100 и сделала выборочные проверки генерации; это не независимая оценка перевода на всех языках. Для FP4 файл `validation.json` даёт perplexity 2,5621 у BF16 и 2,6039 у FP4 на авторском фиксированном корпусе и совпадающие строки для двух направлений zh↔en. Ни эти два примера, ни тестовая A100 не доказывают производительность FP4 на Blackwell и не задают минимальную конфигурацию для пользователя. Проверяйте терминологию, сохранение JSON/плейсхолдеров и ошибки на собственной выборке до рабочего применения. [s3](#src-s3) [s5](#src-s5) [s7](#src-s7)

## Права и следующий шаг

Карточки исходной модели и обеих конверсий указывают Apache-2.0; официальный репозиторий содержит текст этой лицензии для проекта. Открытые веса, код и условия коммерческого использования следует проверять раздельно: наличие файлов не тождественно тестированному продукту, а выбор стороннего хостинга не меняет правила обработки ваших данных. Для обычной текстовой задачи начните с GGUF Q4_K_M и сравните выход с уже опубликованными 2B и 9B на одинаковых примерах; FP4 выбирайте только при соответствующем GPU и после проверки версии vLLM. [s1](#src-s1) [s3](#src-s3) [s5](#src-s5) [s8](#src-s8)

## Источники

1. [IndexTeam: 35B-A3B preview, pinned model card and files](https://huggingface.co/IndexTeam/Index-Translate-35B-A3B-preview/tree/207935a9a7cb331e14dcecd6938af4878ecee73b) — получено 2026-10-04
2. [IndexTeam: история коммитов 35B preview](https://huggingface.co/api/models/IndexTeam/Index-Translate-35B-A3B-preview/commits/main?limit=30) — получено 2026-10-04
3. [IndexTeam: official GGUF model card and pinned artifacts](https://huggingface.co/IndexTeam/Index-Translate-35B-A3B-preview-GGUF/tree/38a612daea2be89160816d65435a87a261c54730) — получено 2026-10-04
4. [IndexTeam: история коммитов 35B GGUF](https://huggingface.co/api/models/IndexTeam/Index-Translate-35B-A3B-preview-GGUF/commits/main?limit=30) — получено 2026-10-04
5. [IndexTeam: NVFP4 model card and pinned checkpoint](https://huggingface.co/IndexTeam/Index-Translate-35B-A3B-preview-FP4/tree/111ff5e950f75dcccb1e631f65e936781a9c34d7) — получено 2026-10-04
6. [IndexTeam: NVFP4 ModelOpt machine-readable config](https://huggingface.co/IndexTeam/Index-Translate-35B-A3B-preview-FP4/blob/111ff5e950f75dcccb1e631f65e936781a9c34d7/hf_quant_config.json) — получено 2026-10-04
7. [IndexTeam: NVFP4 validation JSON](https://huggingface.co/IndexTeam/Index-Translate-35B-A3B-preview-FP4/blob/111ff5e950f75dcccb1e631f65e936781a9c34d7/validation.json) — получено 2026-10-04
8. [Index-Translate official Apache License 2.0](https://github.com/bilibili/Index-Translate/blob/18d6972c6d15/LICENSE) — получено 2026-10-04