llama.cpp b11474 добавил быстрые черновики ответов для GLM-5.3-Flash
На странице · 3 разделов
7 октября 2026 года предварительная сборка llama.cpp b11474 добавила поддержку отдельной черновой части GLM-5.3-Flash для упреждающей генерации: модель предлагает несколько следующих фрагментов, а основная часть их проверяет. Файлы этой части уже доступны отдельно, но готового подтверждённого ускорения ответа разработчики не показали. Изменение пригодится тем, кто уже запускает эту крупную модель; новичку менять работающую установку ради него не нужно.
llama.cpp b11474 добавил быстрые черновики ответов для GLM-5.3-Flash
Если вы уже запускаете GLM-5.3-Flash у себя, в предварительной сборке llama.cpp b11474 появился способ использовать её дополнительную часть для подготовки следующего фрагмента ответа. Основная модель затем проверяет этот «черновик». Это возможность для сравнительного теста, а не обещание, что разговор с моделью станет быстрее. Сборка выпущена 7 октября 2026 года. s1 s2
Что именно добавили
llama.cpp — программа для локального запуска моделей. GLM-5.3-Flash хранит отдельную часть для предсказания следующего фрагмента текста: её называют MTP (предсказание нескольких токенов; токен — маленький фрагмент текста). В этой сборке разработчики добавили обработку такой части для архитектуры GLM5-Next и возможность загрузить её отдельным GGUF-файлом как черновую модель. GGUF — формат файлов для локального запуска. Это изменение программы, не выпуск новой базовой модели. s1 s2
У авторов llama.cpp уже лежат основные файлы GLM-5.3-Flash и два отдельных файла MTP — Q4_0 и Q8_0. Это разные варианты хранения чисел модели с различной точностью. Отдельный файл нужен для эксперимента с черновиками; обычный запуск основной модели не требует автоматически включать MTP. В карточке этих GGUF указана метка лицензии other, тогда как у исходных весов Z.ai — MIT: не переносите автоматически условия исходника на этот пакет при оценке коммерческого использования. s3 s4
Быстрее ли станет ответ
В описании изменения автор сравнивает вычисление внутренней операции при обработке четырёх черновых токенов: после доработки одного участка графа оно занимало 2,9 мс вместо 6,9 мс. Это авторское измерение части вычислений, не скорость готового ответа, не независимый тест Modelium и не гарантия ускорения на вашем компьютере. Доля принятых черновиков, длина запроса и аппаратное обеспечение влияют на итог. s1 s2
Если вы не используете GLM-5.3-Flash с отдельным MTP-файлом, обновление именно ради этой функции не требуется. Тем, кто работает с этой моделью, имеет смысл сначала посмотреть, какие варианты весов доступны, а затем сравнивать одну и ту же задачу на прежней и новой сборках. Команда и производительность такого сочетания редакцией не воспроизведены; инструкция здесь намеренно не обещает проверенного запуска. Обзор файлов модели — следующий шаг ниже. s3 s5
Источники и проверка
Сведения о сборке и внутреннем замере сверены 7 октября 2026 года по релизу b11474 и объединённому изменению #29928. Наличие основных и MTP-файлов сверено по полному списку файлов репозитория ggml-org/GLM-5.3-Flash-GGUF в ревизии 14b83f6336796fce6b282f1b5564fae290adb177. Права исходной модели — по закреплённой лицензии Z.ai; совместимость проверена по исходникам/документации, но реального запуска или независимого замера не было. s1 s2 s3 s4 s5
Источники
- llama.cpp b11474 — официальный GitHub Release. Получено 07.10.2026.
- llama.cpp PR #29928: GLM5Next MTP и отдельные GGUF. Получено 07.10.2026.
- ggml-org/GLM-5.3-Flash-GGUF: закреплённая карточка и список файлов — Полный список siblings проверен по HF API; карточка помечена license: other.. Получено 07.10.2026.
- Z.ai GLM-5.3-Flash-BF16: исходная лицензия MIT. Получено 07.10.2026.
- Документация llama.cpp b11474 об упреждающей генерации. Получено 07.10.2026.