Transformers 5.20: сжатие модели при экспорте для локального запуска
На странице · 2 разделов
15 октября вышел Transformers 5.20.0: при подготовке модели для другой программы теперь можно сразу уменьшать точность вычислений или весов. Это помогает создавать версии для локального запуска, но не делает любую модель пригодной для домашнего компьютера. Возможности зависят от формата и дополнительного ПО; готовый результат нужно проверить на своих данных.
Transformers 5.20: сжатие модели при экспорте для локального запуска
Если вы готовите модель к запуску на своём компьютере или устройстве, Transformers 5.20.0 от 15 октября 2026 года позволяет уменьшать точность весов или вычислений прямо во время экспорта — перевода модели в формат другой программы. Такой приём называется квантованием. Он может уменьшить файл или изменить работу на подходящем процессоре, но не гарантирует меньший расход памяти, ускорение или сохранение качества для любой модели. Это инженерная возможность, а не новая кнопка в домашнем чате. s1 s2
На 18 октября в PyPI доступно исправляющее обновление 5.20.1 от 16 октября; оно, в частности, исправляет ошибки загрузки некоторых моделей со старыми версиями PyTorch. Новое квантование анонсировано именно в 5.20.0 и описано в документации к обеим версиям. s3 s4
Что реально изменилось?
В настройку экспорта теперь можно передать quantizer — компонент, который сжимает модель при подготовке формата. Авторы перечисляют четыре направления: PyTorch/Dynamo, ONNX, ExecuTorch и OpenVINO. Но не каждый способ сжатия работает с каждым форматом: например, квантователь ONNX Runtime применим к ONNX, а NNCF для OpenVINO — к OpenVINO. В документации приведена таблица совместимости и пример с небольшим классификатором отзывов. s1 s2
Для локального использования это путь к подготовке отдельного файла для выбранной программы или устройства, а не обещание, что произвольная крупная модель заработает на ноутбуке. Сам библиотечный код Transformers опубликован под Apache-2.0; права на веса выбранной модели проверяются отдельно. В этом релизе новых весов из-за самой функции экспорта не появилось. s1 s2 s5
Кому и что делать сейчас?
Если вы просто скачали модель в готовом формате GGUF и запускаете её в приложении, ничего менять не требуется. Разработчику, который собирает приложение для конкретного устройства, имеет смысл сначала выбрать целевой формат и совместимый квантователь в официальной таблице, затем сверить условия использования самой модели. Для способов с калибровкой — подбором числовых диапазонов по примерам — нужны представительные входные данные: документация предупреждает, что один случайный пример может исказить диапазоны. После экспорта сравните ответы исходной и сжатой версии на своих типичных задачах и проверьте выполнение в целевой программе. Это рекомендация по проверке, а не испытание Modelium. s2
Здесь нет пошагового домашнего рецепта: поддержка зависит от модели, целевого формата и установленных пакетов; приложение, ОС и требования к памяти для произвольной модели не определены. Modelium не запускал экспорт и не измерял скорость или качество. Для реализации начинайте с закреплённой документации по квантованию в Transformers 5.20.1; не переносите слепо настройки ONNX на ExecuTorch или OpenVINO. s2 s3
Источники
- Hugging Face Transformers: релиз v5.20.0 — Стабильный релиз 15.10.2026; раздел Exporters сообщает о едином API квантования при экспорте.. Получено 18.10.2026.
- Hugging Face: Quantizing exports, документация тега v5.20.1 — Закреплённая версия; таблица совместимости, пример ONNX, требования к калибровке и ограничения.. Получено 18.10.2026.
- Hugging Face Transformers: релиз v5.20.1 — Исправление от 16.10.2026, в том числе для загрузки моделей при PyTorch 2.6/2.7.. Получено 18.10.2026.
- PyPI: transformers 5.20.1 — Файлы версии 5.20.1 загружены 16.10.2026.. Получено 18.10.2026.
- Transformers: LICENSE в теге v5.20.0 — Apache-2.0 относится к библиотеке, а не автоматически к произвольным весам.. Получено 18.10.2026.