# Transformers 5.19: новый dispatch экспертов и изменения continuous batching

Источник: https://modelium.tech/zhurnal/transformers-5-19-token-dispatch-continuous-batching/

Hugging Face выпустила Transformers 5.19.0 6 октября 2026 года. Релиз добавил token dispatch для expert parallelism в Qwen3 MoE и Mellum: число групп экспертов теперь можно задавать независимо от tensor parallelism. Обычные SDPA и Flash Attention работают с continuous batching без префикса paged|; старый префикс для них объявлен устаревшим. Это изменения runtime, а не выпуск новых весов или доказанное ускорение на любом оборудовании.

Transformers 5.19: как меняется локальный запуск MoE и пакетная генерация

6 октября 2026 года Hugging Face выпустила стабильную версию Transformers 5.19.0. Для тех, кто обслуживает локальные модели на нескольких GPU, главное изменение — отдельная схема передачи токенов экспертам MoE. Также обычные реализации SDPA и Flash Attention теперь работают в режиме continuous batching, а старое именование этих реализаций помечено к удалению. Это релиз библиотеки, не новые веса моделей. [s1](#src-s1)

## Зачем нужен token dispatch для MoE

В прежней masked-схеме expert parallelism группа экспертов совпадала с группой tensor parallelism: каждый процесс видел реплицированный пакет токенов, выполнял своих экспертов и объединял результаты через all-reduce. Новый план `ep_dispatch_experts` передаёт только назначенные пары «токен — эксперт» владельцам экспертов через all-to-all и возвращает результат обратно. Благодаря этому `ep_size` может отличаться от `tp_size`: плотные слои и эксперты не обязаны использовать одинаковое разбиение. По описанию разработчиков это схема по умолчанию для Qwen3 MoE и Mellum; прежний masked-путь оставлен доступным. [s1](#src-s1) [s2](#src-s2)

Практическая ценность — большая свобода в раскладке модели по **нескольким** локальным GPU, особенно когда допустимый tensor parallelism ограничен архитектурой attention. Это не режим для одного GPU и не обещание, что скорость всегда вырастет: обмен all-to-all имеет стоимость, а выигрыш зависит от модели, числа устройств, соединения и профиля запросов. Проверять нужно реальную пропускную способность, задержку и корректность на своей конфигурации; Modelium такой тест не проводил. [s2](#src-s2)

## Что изменилось в continuous batching

Релиз направляет обычные реализации `sdpa` и `flash_attention_2` в continuous batching без прежнего префикса `paged|`. Для этих двух реализаций старые значения вроде `paged|sdpa` объявлены устаревшими. Исключение — eager: для него по-прежнему требуется `paged|eager`. В собственном сервере следует проверить заданный `attn_implementation` и мигрировать настройки только для затронутых реализаций, а не заменять все значения поиском по строке. При использовании внутренних API paged cache нужно отдельно проверить совместимость: часть функций изменилась. [s1](#src-s1) [s3](#src-s3) [s4](#src-s4)

Другие изменения важны при обновлении пользовательского кода. Для моделей MoE, вычисляющих router logits, параметр `output_router_logits=True` теперь возвращает эти значения единообразно; код, который разбирает выходы модели по прежней структуре, нужно перепроверить. Исправлены два случая quantized cache: генерация больше не изменяет переданный объект `cache_config`, а перестановка cache-слоёв восстановлена. Настройка кэша по слоям помогает архитектурам с разными окнами attention и числом голов, но сама по себе не означает уменьшение памяти без измерений. [s1](#src-s1) [s5](#src-s5) [s6](#src-s6)

## Как обновлять без ложных ожиданий

В тестовом окружении закрепите `transformers==5.19.0`, затем отдельно прогоните свой сценарий на тех же весах и входных данных, что и на прежней версии. Для multi-GPU MoE проверьте выбранные `tp_size`, `ep_size` и сетевой обмен; для сервера — выбор attention, очереди запросов и обработку outputs/cache. Если используется только один GPU или ранее описанный GGUF-путь на Mac, новость не обещает отдельного ускорения: поддержка упакованного Qwen3.5 MoE GGUF уже вошла в 5.18.0. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

В changelog 5.19.0 отдельно упомянута EmbeddingGemma 2 для мультимодальных эмбеддингов. Сама модель и её доступные веса — другая история; этот выпуск фиксирует поддержку в Transformers. Код библиотеки опубликован под Apache-2.0, но права на конкретные веса и датасеты определяются их собственными условиями. Не переносите лицензию runtime на модель и не принимайте авторские измерения из PR за независимый тест Modelium. [s1](#src-s1) [s7](#src-s7)

## Источники

1. [Hugging Face Transformers v5.19.0 release](https://github.com/huggingface/transformers/releases/tag/v5.19.0) — получено 2026-10-06
2. [Transformers PR #48865: token dispatch for expert parallelism](https://github.com/huggingface/transformers/pull/48865) — получено 2026-10-06
3. [Transformers PR #49112: deprecate paged attention prefix](https://github.com/huggingface/transformers/pull/49112) — получено 2026-10-06
4. [Transformers PR #49101: regular attention in continuous batching](https://github.com/huggingface/transformers/pull/49101) — получено 2026-10-06
5. [Transformers PR #48700: fix quantized cache](https://github.com/huggingface/transformers/pull/48700) — получено 2026-10-06
6. [Transformers PR #48178: per-layer cache configuration](https://github.com/huggingface/transformers/pull/48178) — получено 2026-10-06
7. [Transformers v5.19.0 LICENSE](https://github.com/huggingface/transformers/blob/v5.19.0/LICENSE) — получено 2026-10-06