Искусственный интеллект

Контекстное окно

Context window · Окно контекста · Лимит контекста

Контекстное окно — предел объёма токенов, с которым языковая модель может работать в одном обращении. В этот бюджет входят переданные инструкции и материалы, а учёт генерируемого ответа зависит от модели и интерфейса.

Как это работает на примере

Чтобы продолжить разговор, приложение передаёт модели нужную историю вместе с новым вопросом. Если всё не помещается, часть сообщений сокращают, исключают или заменяют пересказом. Размер контекста отличается от долговременной памяти приложения.

Ассистенту передают инструкцию, переписку и несколько найденных документов. Перед запросом система оставляет место для ответа, а из документов выбирает только фрагменты, необходимые для текущего вопроса.

Большое окно не гарантирует, что модель одинаково хорошо использует каждый фрагмент. Точные ограничения входа и выхода зависят от конкретной модели и сервиса.