Контекстное окно (context window) — максимальный объем информации, который языковая модель может учитывать при обработке запроса и формировании ответа. Размер контекстного окна обычно измеряется в токенах.
Что входит в контекст языковой модели
Контекст — это информация, которая передается модели в рамках конкретного обращения. В него могут входить не только текущий запрос пользователя, но и системные инструкции, история диалога, фрагменты документов и кода, результаты работы инструментов и другие данные, доступные модели в момент генерации ответа.
Перед обработкой эта информация представляется в виде токенов — небольших единиц текста. Поэтому размер контекстного окна указывают не в символах или словах, а именно в токенах.
Например, если модель работает с длинной перепиской и большим документом, все переданные ей сообщения, инструкции и содержимое документа занимают часть доступного контекста.
Почему размер контекстного окна важен
Чем больше контекстное окно, тем больший объем информации модель потенциально может учитывать одновременно. Это важно при работе с длинными документами, крупными фрагментами кода и продолжительными диалогами.
При этом контекстное окно не является бесконечным. Если общий объем переданных данных превышает доступный лимит, часть информации приходится исключать, сокращать или обрабатывать отдельно. Конкретное поведение зависит от приложения: оно может убрать старые сообщения из текущего контекста, предварительно сократить их или сообщить о превышении лимита.
Большое окно контекста также не гарантирует, что любая информация внутри него будет использована одинаково эффективно. Для результата важны не только размер окна, но и релевантность переданных данных, структура запроса и способ управления контекстом.
Контекстное окно, память и знания модели
Контекстное окно не следует путать с долговременной памятью AI-системы или знаниями, которые модель получила при обучении.
Контекстное окно содержит информацию, доступную модели во время конкретного запроса или диалога. Знания модели формируются в процессе обучения и не являются содержимым текущего контекстного окна. Долговременная память, если она предусмотрена в AI-приложении, также хранится отдельно: необходимые сведения из нее могут быть добавлены в контекст при следующем обращении.
Поэтому контекстное окно можно представить как рабочую область модели — набор информации, с которой LLM работает непосредственно сейчас.