Index-Translate 35B-A3B: полные веса, GGUF и FP4 для локального перевода

Какой пакет выбирать

BF16 — исходный чекпойнт для сравнения качества через vLLM с поддержкой Qwen3.5. GGUF — официальная конверсия для llama.cpp: полный закреплённый список содержит Q2_K–Q8_0, IQ4_XS, двухчастный f16 и отдельные мультимодальные проекторы. Команда рекомендует Q4_K_M как компромисс для первого текстового теста; его файл занимает 21,71 ГБ на диске. Для текстового перевода проектор не нужен. Карточка показывает пример llama-cli -hf IndexTeam/Index-Translate-35B-A3B-preview-GGUF:Q4_K_M --jinja --chat-template-kwargs '{"enable_thinking":false}' --temp 0; сверяйте синтаксис с установленной версией llama.cpp. Не принимайте размер файла за минимальную RAM или VRAM. История HF показывает загрузку GGUF 2 октября, тогда как авторская карточка датирует выпуск конверсии 3 октября. s1 s3 s4

NVFP4 — отдельный официальный W4A4-чекпойнт, созданный 3 октября и загруженный 4 октября: все три основных Safetensors-шарда, индекс, MTP-файл и конфигурация ModelOpt присутствуют в закреплённом дереве. Карточка предлагает vLLM и говорит, что аппаратное ускорение FP4 требует NVIDIA Blackwell; для других GPU команда рекомендует FP8. Конфигурация исключает часть линейных проекций и визуальный модуль из квантизации, поэтому упрощённое описание «все Linear» в карточке нельзя читать буквально. Modelium не проверял реальный запуск или выигрыш скорости. s5 s6

Что говорят проверки авторов

Команда сообщает, что для GGUF сравнила квантизации с f16 на A100 и сделала выборочные проверки генерации; это не независимая оценка перевода на всех языках. Для FP4 файл validation.json даёт perplexity 2,5621 у BF16 и 2,6039 у FP4 на авторском фиксированном корпусе и совпадающие строки для двух направлений zh↔en. Ни эти два примера, ни тестовая A100 не доказывают производительность FP4 на Blackwell и не задают минимальную конфигурацию для пользователя. Проверяйте терминологию, сохранение JSON/плейсхолдеров и ошибки на собственной выборке до рабочего применения. s3 s5 s7

Права и следующий шаг

Карточки исходной модели и обеих конверсий указывают Apache-2.0; официальный репозиторий содержит текст этой лицензии для проекта. Открытые веса, код и условия коммерческого использования следует проверять раздельно: наличие файлов не тождественно тестированному продукту, а выбор стороннего хостинга не меняет правила обработки ваших данных. Для обычной текстовой задачи начните с GGUF Q4_K_M и сравните выход с уже опубликованными 2B и 9B на одинаковых примерах; FP4 выбирайте только при соответствующем GPU и после проверки версии vLLM. s1 s3 s5 s8