Контекстное окно модели: что означает размер и как его проверить

Что такое контекстное окно и в чём измеряется его размер?

Контекстное окно — рабочий предел последовательности токенов, с которой модель обрабатывает текущий запрос s3 s7. Токенизатор делит текст на слова или части слов и преобразует их в идентификаторы; разные модели могут токенизировать одинаковый русский текст по-разному s1. Поэтому запись «столько-то токенов» нельзя надёжно перевести в фиксированное число страниц или слов.

Для чата важен не только текст вопроса. Роли, границы сообщений и специальные маркеры задаются шаблоном конкретной модели и тоже участвуют в сформированной последовательности s2. В бюджет планирования входят системная инструкция, текущий запрос, история и вставленные фрагменты документа; отдельно оставьте место для ответа. Это планирование бюджета, а не универсальная формула для каждого runtime: точный учёт и поведение на границе нужно проверять на выбранной версии.

Размер в карточке модели и контекст при запуске — одно и то же?

Нет. У модели есть заявленные разработчиком возможности, но runtime задаёт свой рабочий размер окна. Ollama документирует переменную OLLAMA_CONTEXT_LENGTH и параметр options.num_ctx для запроса API; ответ /api/ps показывает context_length у загруженной модели s3 s4. У сервера llama.cpp закреплённая документация задаёт --ctx-size; значение 0 означает выбор из модели s7. Не переносите число из карточки модели в обещание, что на вашем оборудовании будет доступен тот же контекст, нужная скорость и достоверное извлечение фактов.

Три разных вопроса проверяются отдельно: что заявлено для конкретной ревизии модели, какое окно установлено в текущем runtime, и сколько токенов действительно занял ваш запрос. Последние два пункта можно наблюдать без догадки по количеству страниц: Ollama документирует context_length в /api/ps, prompt_eval_count для входа и eval_count для вывода в ответе поддерживаемого endpoint s4 s6. Счётчики не подтверждают, что модель правильно прочла середину документа.

Хватит ли большого окна для PDF и длинной переписки?

Окно — это вместимость, не гарантия использования каждого фрагмента. Если вместе с историей и документом вход приближается к рабочему лимиту, резерв для продолжения сокращается; поведение при превышении зависит от конкретного приложения и его настроек. Не утверждайте, что оно всегда молча обрезает начало или всегда выдаёт ошибку: сначала посмотрите параметры и фактические счётчики своего стека s3 s6 s7.

Для задачи по документу сравните два подхода: загрузить небольшой документ целиком, если он реально помещается, либо отобрать релевантные фрагменты поиском и передать модели их вместе с вопросом. RAG объясняет второй маршрут. Даже если весь файл вошёл в окно, поставьте проверяемые вопросы по фрагментам в начале, середине и конце и сверяйте цитату/ответ с оригиналом. Это предложенный протокол самостоятельной проверки, а не опубликованный бенчмарк модели.

Размер окна влияет и на ресурсы. Во время генерации KV-кеш сохраняет промежуточные ключи и значения; способы хранения и скользящее внимание отличаются по расходу памяти. По числу токенов нельзя получить единый минимум RAM/VRAM: нужны архитектура модели, конфигурация кеша, параллельность и фактический запуск s5. Не путайте размер файла весов с памятью под активный контекст.

Как проверить контекст на своём локальном стеке?

1. Зафиксируйте точную модель/тег, её документацию и выбранный runtime. Уточните токенизатор, а если используется чат — шаблон сообщений: простой подсчёт слов игнорирует разметку s1 s2.
2. Задайте умеренное рабочее окно через options.num_ctx или настройку сервера Ollama и после загрузки модели проверьте context_length через /api/ps. Для сервера llama.cpp аналогичная настройка называется --ctx-size; это другой runtime, не поле Ollama s3 s4 s7.
3. На своём документе запишите prompt_eval_count и eval_count, оставьте резерв для ответа, а затем вручную сверьте извлечённые факты в начале, середине и конце оригинала. Счётчики Ollama измеряют обработанные токены, не качество ответа s6. Повторите на коротком и длинном допустимом входе с одной моделью и теми же настройками.
4. Если документ не вмещается или ответ пропускает важный фрагмент, сократите историю, выбирайте релевантные части через RAG либо подберите конфигурацию с большим рабочим окном после проверки ресурсов и качества. Характер KV-кеша и память зависят от реализации; обещать выгоду по одному названию модели нельзя s5.

Следующий шаг: откройте практическую настройку контекста Ollama и проверьте рабочее окно на своём документе. Если ограничение связано с памятью, отдельно оцените конфигурацию видеокарты.