llama.cpp b11552 исправляет сбой контекста в занятом слоте сервера
На странице · 3 разделов
В сборке llama.cpp b11552 от 10 октября исправлена ошибка сервера: новый запрос к занятому слоту мог изменить контекст ответа, который уже генерировался. Это важно тем, кто обслуживает несколько запросов и вручную закрепляет их за слотами. b11552 — предварительная сборка, а не новый стабильный релиз; другие проблемы с кешем она не объявляет решёнными.
Если локальный сервер llama.cpp отвечает сразу нескольким людям, один ответ не должен внезапно продолжить чужой текст. В предварительной сборке b11552 разработчики исправили конкретный случай, когда новый запрос к занятому слоту мог изменить контекст ответа, уже находившегося в процессе генерации. Сборка опубликована 10 октября 2026 года. s1 s2
Кого касается исправление
Слот — место на сервере, где обрабатывается один запрос и хранится его текущий контекст. Ошибка возникала при явном выборе слота параметром id_slot: пока слот генерировал ответ, второй запрос к тому же слоту мог запустить обновление кеша предыдущих запросов. Если в оперативной памяти находился более подходящий кеш, он загружался прямо во время первой генерации. Продолжение ответа тогда опиралось уже не на исходный контекст. Это не означает, что каждый параллельный запрос затронут: важны именно занятый слот, его явное назначение и описанный путь кеша. s2 s3
В b11552 сервер сначала проверяет, занят ли явно указанный слот, и оставляет его без изменений до завершения текущей работы. Авторы добавили регрессионный тест: результат длинного ответа сравнивается с вариантом, в котором во время генерации отправлен второй запрос к тому же слоту. Это проверка в коде проекта, не самостоятельный тест Modelium. s2
Что делать пользователю
Если вы просто общаетесь с одной моделью на своём компьютере и не задаёте id_slot вручную, по этому исправлению менять настройку не требуется. Если ваше приложение явно распределяет одновременно работающие запросы по слотам llama.cpp server, проверьте установленную версию и оцените переход на b11552 либо более позднюю сборку с этим исправлением. Сначала испытайте изменение на своих запросах: b11552 помечена как предварительная сборка, поэтому мы не выдаём её за стабильный выпуск. Новых весов моделей в этом релизе не объявлено. s1 s3
Для понимания обычной очереди и слотов сервера есть отдельное объяснение слотов llama.cpp. Оно полезнее установки предварительной сборки, если вы ещё не используете параллельные запросы.
Чего исправление не обещает
Изменение относится к узкому пути с явно закреплённым занятым слотом. Открытый отчёт о восстановлении неродственного контекста из RAM-кеша при иной схеме параллельной работы остаётся отдельной проблемой; нельзя считать b11552 общим исправлением всех случаев смешения контекста или доказательством изоляции пользователей. s2 s4
llama.cpp — программа с открытым исходным кодом под MIT; это не лицензия весов какой-либо конкретной модели. Скорость и аппаратные требования этим исправлением не измерялись редакцией. s5
Источники
- llama.cpp release b11552 — GitHub API: published_at 2026-10-10T19:52:01Z, prerelease=true; release notes describe busy-slot fix.. Получено 10.10.2026.
- ggml-org/llama.cpp pull request #30295 — Merged 2026-10-10T19:25:38Z, code adds is_processing early return and regression test.. Получено 10.10.2026.
- llama.cpp server documentation at b11552 — Documents id_slot and cache-ram/cache-idle-slots flags.. Получено 10.10.2026.
- llama.cpp issue #27148: RAM cache and unrelated conversations — Issue remains open; distinct from the explicit busy pinned slot fixed by #30295.. Получено 10.10.2026.
- llama.cpp MIT license at b11552. Получено 10.10.2026.