Index-Translate 2B и 9B: локальный перевод с управлением терминологией

Что именно доступно

У 2B в закреплённом HF-манифесте есть model.safetensors, конфигурация и токенизатор. У 9B индекс model.safetensors.index.json ссылается на четыре шарда, и все четыре перечислены в HF API. Оба репозитория доступны без gated-запроса и имеют метку apache-2.0; официальный репозиторий проекта содержит текст лицензии Apache License 2.0. Открытые веса и открытый код здесь подтверждены раздельно; это не утверждение об отсутствии ограничений у любых сторонних сервисов и наборов данных. s1 s2 s3 s6

Выбор практичен: 2B — более компактная точка входа для экспериментов с переводом коротких текстов; 9B — более крупный вариант для сравнения на собственных сложных инструкциях и языках. Не выводите минимальную RAM или VRAM из размера файлов. Авторский гайд приводит ориентиры для BF16 на GPU, но кэш, контекст и конкретная среда меняют требования; Modelium запуск не воспроизводил. s1 s2 s3

Как попробовать локально

Официальный путь — CUDA и сборка vLLM с поддержкой Qwen3.5. Для короткого теста автор предлагает запустить vllm serve IndexTeam/Index-Translate-2B --host 127.0.0.1 --port 8000 --max-model-len 4096, предварительно установив подходящий vLLM. Затем в репозитории Index-Translate использовать python inference/llm/translate.py '你好，世界。' --target en --model IndexTeam/Index-Translate-2B. Клиент обращается к локальному OpenAI-совместимому endpoint http://127.0.0.1:8000/v1; модель по умолчанию у клиента — 9B, поэтому --model для 2B важен. Эти команды взяты из официальной документации и не означают, что редакция проверила их на своём GPU. s1 s3

Клиент формирует китайскоязычную инструкцию перевода, отключает thinking и использует temperature=0; его обычный лимит вывода — 1024 токена. Увеличивайте лимит вывода для длинного текста и проверяйте результат на ваших языковых парах, терминах, JSON-полях и плейсхолдерах. 4096 токенов в коротком примере сервера — не полный контекст модели и не универсальное требование к памяти. s1 s3

Что говорят оценки авторов — и чего они не доказывают

В опубликованной авторами таблице FLORES COMET-22 составляет 0,8655 для 2B и 0,8789 для 9B; отдельный instTrans IFscore составляет 0,7569 и 0,8209 соответственно. Это разные метрики и выборки, а не единая «точность перевода». В описании методики основной FLORES охватывает 126 000 входов и 420 направлений среди 21 языка, тогда как instTrans — 3000 заданий перевода с китайского на 20 языков и десять типов ограничений. Заявление о покрытии 150 языков не означает измерение всех возможных пар на одинаковом качестве. Результаты принадлежат авторам и не воспроизведены Modelium. s1 s2

Не загружайте 35B-A3B preview как готовую альтернативу. Официальный сайт перечисляет её в семействе, но закреплённый индекс на HF ожидает 15 шардов, а API на момент проверки 1 октября показывает только model-00001-of-00015.safetensors и model-00006-of-00015.safetensors. Это вывод о доступности этой ревизии HF, а не о других зеркалах или будущем завершении выгрузки. Для воспроизводимой локальной попытки сейчас берите проверенные 2B/9B и их точные model ID. s3 s5

Итог: начните с 2B на коротком собственном корпусе, сохраните ключевые термины и формат в контрольных примерах, затем сравните с 9B в той же среде и на тех же текстах. Авторские таблицы полезны как ориентир, но решение о пригодности для вашего языка и инструкции требует собственного теста. s1 s2