Transformers 5.19: новый dispatch экспертов и изменения continuous batching

Transformers 5.19: как меняется локальный запуск MoE и пакетная генерация

6 октября 2026 года Hugging Face выпустила стабильную версию Transformers 5.19.0. Для тех, кто обслуживает локальные модели на нескольких GPU, главное изменение — отдельная схема передачи токенов экспертам MoE. Также обычные реализации SDPA и Flash Attention теперь работают в режиме continuous batching, а старое именование этих реализаций помечено к удалению. Это релиз библиотеки, не новые веса моделей. s1

Зачем нужен token dispatch для MoE

В прежней masked-схеме expert parallelism группа экспертов совпадала с группой tensor parallelism: каждый процесс видел реплицированный пакет токенов, выполнял своих экспертов и объединял результаты через all-reduce. Новый план ep_dispatch_experts передаёт только назначенные пары «токен — эксперт» владельцам экспертов через all-to-all и возвращает результат обратно. Благодаря этому ep_size может отличаться от tp_size: плотные слои и эксперты не обязаны использовать одинаковое разбиение. По описанию разработчиков это схема по умолчанию для Qwen3 MoE и Mellum; прежний masked-путь оставлен доступным. s1 s2

Практическая ценность — большая свобода в раскладке модели по нескольким локальным GPU, особенно когда допустимый tensor parallelism ограничен архитектурой attention. Это не режим для одного GPU и не обещание, что скорость всегда вырастет: обмен all-to-all имеет стоимость, а выигрыш зависит от модели, числа устройств, соединения и профиля запросов. Проверять нужно реальную пропускную способность, задержку и корректность на своей конфигурации; Modelium такой тест не проводил. s2

Что изменилось в continuous batching

Релиз направляет обычные реализации sdpa и flash_attention_2 в continuous batching без прежнего префикса paged|. Для этих двух реализаций старые значения вроде paged|sdpa объявлены устаревшими. Исключение — eager: для него по-прежнему требуется paged|eager. В собственном сервере следует проверить заданный attn_implementation и мигрировать настройки только для затронутых реализаций, а не заменять все значения поиском по строке. При использовании внутренних API paged cache нужно отдельно проверить совместимость: часть функций изменилась. s1 s3 s4

Другие изменения важны при обновлении пользовательского кода. Для моделей MoE, вычисляющих router logits, параметр output_router_logits=True теперь возвращает эти значения единообразно; код, который разбирает выходы модели по прежней структуре, нужно перепроверить. Исправлены два случая quantized cache: генерация больше не изменяет переданный объект cache_config, а перестановка cache-слоёв восстановлена. Настройка кэша по слоям помогает архитектурам с разными окнами attention и числом голов, но сама по себе не означает уменьшение памяти без измерений. s1 s5 s6

Как обновлять без ложных ожиданий

В тестовом окружении закрепите transformers==5.19.0, затем отдельно прогоните свой сценарий на тех же весах и входных данных, что и на прежней версии. Для multi-GPU MoE проверьте выбранные tp_size, ep_size и сетевой обмен; для сервера — выбор attention, очереди запросов и обработку outputs/cache. Если используется только один GPU или ранее описанный GGUF-путь на Mac, новость не обещает отдельного ускорения: поддержка упакованного Qwen3.5 MoE GGUF уже вошла в 5.18.0. s1 s2 s3

В changelog 5.19.0 отдельно упомянута EmbeddingGemma 2 для мультимодальных эмбеддингов. Сама модель и её доступные веса — другая история; этот выпуск фиксирует поддержку в Transformers. Код библиотеки опубликован под Apache-2.0, но права на конкретные веса и датасеты определяются их собственными условиями. Не переносите лицензию runtime на модель и не принимайте авторские измерения из PR за независимый тест Modelium. s1 s7