# FastFlowLM 1.0.11: повторные запросы к локальной модели быстрее на Ryzen AI

Источник: https://modelium.tech/zhurnal/fastflowlm-1-0-11-prefix-cache-decision-3-npu/

В FastFlowLM 1.0.11 локальный сервер на компьютерах с AMD Ryzen AI запоминает уже прочитанную часть запроса: при повторном обращении к модели ответ может начаться быстрее. Также добавлена поддержка моделей Decision 3.0 для выбора из заданных вариантов. Ускорение зависит от модели и совпадения начала запросов; кэш проверен авторами на Linux, а не редакцией Modelium.

FastFlowLM 1.0.11: повторные запросы к локальной модели быстрее на Ryzen AI

Если вы общаетесь с локальной моделью через приложение, которое каждый раз передаёт ей одни и те же инструкции, ожидание первого слова может сократиться. В выпуске FastFlowLM 1.0.11 от 29 октября 2026 года сервер научился сохранять уже обработанное начало запроса, даже если между сообщениями поступали другие обращения. Это называется кэшем префикса: программа не заставляет модель заново читать совпадающую часть текста. Обновление относится к компьютерам с совместимым нейропроцессором AMD Ryzen AI, а не ко всем обычным процессорам. [s1](#src-s1)[s2](#src-s2)[s3](#src-s3)

## Что изменилось в переписке с моделью

Раньше повторно использовался главным образом предыдущий запрос, если новый прямо его продолжал. Теперь `flm serve` держит несколько сохранённых состояний в оперативной памяти компьютера и выбирает самое длинное совпадающее начало. Это полезно, когда несколько бесед или помощников делят общую инструкцию и список инструментов. По умолчанию предусмотрено восемь сохранённых запросов; лимит памяти кэша — 4096 МиБ. Это **верхний предел для кэша, а не минимальное требование к памяти компьютера**. [s1](#src-s1)[s2](#src-s2)

Авторские измерения на Linux с NPU2: для повторного запроса с общей частью в 2,2 тыс. токенов на `gemma4-it:12b` время до первого слова снизилось с 9,3 до 1,7 секунды. Это не универсальный прирост: результат зависит от модели, длины общего текста, свободных слотов и условий запроса. Modelium эти замеры не повторял. [s1](#src-s1)[s2](#src-s2)

Новый кэш относится к серверным запросам через совместимый интерфейс чата `/v1/chat/completions`. Он **не работает так же** в терминальном режиме `flm run` и в совместимых с Ollama адресах `/api/chat` и `/api/generate`; обращение к последним очищает сохранённые префиксы. Чтобы проверить эффект в своём приложении, сравните повторяющиеся запросы и поле `usage.prompt_tokens_details.cached_tokens`: ненулевое значение означает повторное использование части запроса, но не подтверждает заявленное автором ускорение именно на вашем компьютере. [s2](#src-s2)

## Для чего нужны новые модели Decision 3.0

Релиз также добавил пять вариантов семейства d3 — от `d3:lite` до `d3:ultra`. Это не собеседник: такая модель оценивает варианты решения, например выбирает подходящий инструмент по описанию ситуации и возвращает оценки вероятности, а не сочиняет свободный текст. Для неё предусмотрен отдельный локальный адрес `/v1/systemone`; в документации есть пример запуска `flm serve --decision d3:lite`. Исходный репозиторий `vllm-sr/d3-lite` содержит веса и файл лицензии Apache-2.0, но права на бинарные компоненты FastFlowLM регулируются отдельно. [s1](#src-s1)[s4](#src-s4)[s5](#src-s5)

Это прежде всего изменение для тех, кто уже настраивает локального помощника или маршрутизацию запросов. Для простой переписки устанавливать d3 не требуется. Автор релиза указывает пять загружаемых вариантов и условия собственных измерений; размер загрузки модели нельзя считать минимумом оперативной памяти. [s1](#src-s1)[s4](#src-s4)

## Нужно ли обновляться сейчас

Если у вас совместимый Ryzen AI с XDNA2 и вы используете сервер FastFlowLM для повторяющихся длинных запросов, версия 1.0.11 даёт повод проверить кэш на своих беседах. По документации программа рассчитана на такие нейропроцессоры; при первом скачивании моделей нужен доступ к Hugging Face. Полный запуск этой версии Modelium не проводил. [s3](#src-s3)

**Ограничение проверки:** авторы испытали новый кэш на Linux с драйверным стеком XRT. В документации прямо сказано, что код включён и в сборки Windows/HRX, но там не был ими запущен в рамках этой проверки. Отдельно документация исключает `lfm3` из списка моделей с новым кэшем, хотя в заметках к релизу семейство LFM3 перечислено среди охваченных: до уточнения не рассчитывайте на кэш именно для `lfm3`. [s1](#src-s1)[s2](#src-s2)

Код управления и интерфейса FastFlowLM опубликован под MIT, а готовые бинарные ядра NPU закрыты: их отдельная лицензия разрешает использование, в том числе коммерческое, и распространение только без изменений с сохранением лицензии. Это не означает, что любые скачанные для программы веса имеют те же права: условия конкретной модели следует смотреть отдельно. [s3](#src-s3)[s5](#src-s5)[s6](#src-s6)

**Следующий шаг:** откройте закреплённые заметки к версии 1.0.11 и страницу кэша префикса, затем сопоставьте их с вашим устройством и способом подключения приложения. [s1](#src-s1)[s2](#src-s2)

## Источники

1. [ROCm/FastFlowLM — выпуск v1.0.11](https://github.com/ROCm/FastFlowLM/releases/tag/v1.0.11) — получено 2026-11-01
2. [FastFlowLM v1.0.11 — Prefix Cache (документация по тегу)](https://github.com/ROCm/FastFlowLM/blob/v1.0.11/docs/docs/instructions/server/prefix_cache.md) — получено 2026-11-01
3. [FastFlowLM v1.0.11 — README и поддержка Ryzen AI](https://github.com/ROCm/FastFlowLM/blob/v1.0.11/README.md) — получено 2026-11-01
4. [vllm-sr/d3-lite — закреплённый репозиторий модели](https://huggingface.co/vllm-sr/d3-lite/tree/03560c26f5199c3c04129a2ccb38960c913635e0) — получено 2026-11-01
5. [FastFlowLM v1.0.11 — лицензия бинарных NPU-ядер](https://github.com/ROCm/FastFlowLM/blob/v1.0.11/LICENSE_BINARY.txt) — получено 2026-11-01
6. [FastFlowLM v1.0.11 — лицензия кода интерфейса](https://github.com/ROCm/FastFlowLM/blob/v1.0.11/LICENSE_RUNTIME.txt) — получено 2026-11-01