FastFlowLM 1.0.11: повторные запросы к локальной модели быстрее на Ryzen AI

Что изменилось в переписке с моделью

Раньше повторно использовался главным образом предыдущий запрос, если новый прямо его продолжал. Теперь flm serve держит несколько сохранённых состояний в оперативной памяти компьютера и выбирает самое длинное совпадающее начало. Это полезно, когда несколько бесед или помощников делят общую инструкцию и список инструментов. По умолчанию предусмотрено восемь сохранённых запросов; лимит памяти кэша — 4096 МиБ. Это верхний предел для кэша, а не минимальное требование к памяти компьютера. s1s2

Авторские измерения на Linux с NPU2: для повторного запроса с общей частью в 2,2 тыс. токенов на gemma4-it:12b время до первого слова снизилось с 9,3 до 1,7 секунды. Это не универсальный прирост: результат зависит от модели, длины общего текста, свободных слотов и условий запроса. Modelium эти замеры не повторял. s1s2

Новый кэш относится к серверным запросам через совместимый интерфейс чата /v1/chat/completions. Он не работает так же в терминальном режиме flm run и в совместимых с Ollama адресах /api/chat и /api/generate; обращение к последним очищает сохранённые префиксы. Чтобы проверить эффект в своём приложении, сравните повторяющиеся запросы и поле usage.prompt_tokens_details.cached_tokens: ненулевое значение означает повторное использование части запроса, но не подтверждает заявленное автором ускорение именно на вашем компьютере. s2

Для чего нужны новые модели Decision 3.0

Релиз также добавил пять вариантов семейства d3 — от d3:lite до d3:ultra. Это не собеседник: такая модель оценивает варианты решения, например выбирает подходящий инструмент по описанию ситуации и возвращает оценки вероятности, а не сочиняет свободный текст. Для неё предусмотрен отдельный локальный адрес /v1/systemone; в документации есть пример запуска flm serve --decision d3:lite. Исходный репозиторий vllm-sr/d3-lite содержит веса и файл лицензии Apache-2.0, но права на бинарные компоненты FastFlowLM регулируются отдельно. s1s4s5

Это прежде всего изменение для тех, кто уже настраивает локального помощника или маршрутизацию запросов. Для простой переписки устанавливать d3 не требуется. Автор релиза указывает пять загружаемых вариантов и условия собственных измерений; размер загрузки модели нельзя считать минимумом оперативной памяти. s1s4

Нужно ли обновляться сейчас

Если у вас совместимый Ryzen AI с XDNA2 и вы используете сервер FastFlowLM для повторяющихся длинных запросов, версия 1.0.11 даёт повод проверить кэш на своих беседах. По документации программа рассчитана на такие нейропроцессоры; при первом скачивании моделей нужен доступ к Hugging Face. Полный запуск этой версии Modelium не проводил. s3

Ограничение проверки: авторы испытали новый кэш на Linux с драйверным стеком XRT. В документации прямо сказано, что код включён и в сборки Windows/HRX, но там не был ими запущен в рамках этой проверки. Отдельно документация исключает lfm3 из списка моделей с новым кэшем, хотя в заметках к релизу семейство LFM3 перечислено среди охваченных: до уточнения не рассчитывайте на кэш именно для lfm3. s1s2

Код управления и интерфейса FastFlowLM опубликован под MIT, а готовые бинарные ядра NPU закрыты: их отдельная лицензия разрешает использование, в том числе коммерческое, и распространение только без изменений с сохранением лицензии. Это не означает, что любые скачанные для программы веса имеют те же права: условия конкретной модели следует смотреть отдельно. s3s5s6

Следующий шаг: откройте закреплённые заметки к версии 1.0.11 и страницу кэша префикса, затем сопоставьте их с вашим устройством и способом подключения приложения. s1s2