Урок 6 из 17•10 мин
Context window и ограничения
Цели урока
После прохождения этого урока вы сможете:
- 1Понять, что такое контекстное окно и почему оно важно
- 2Научиться работать с ограничениями памяти LLM
- 3Узнать о эволюции размеров контекста
Контекстное окно — "рабочая память" AI
LLM не имеет долговременной памяти между сессиями. Всё, что она "помнит" — это то, что находится в текущем контекстном окне. Это как если бы у человека была только записная книжка ограниченного размера, и он забывал всё, что не поместилось.
Что входит в контекст?
- Системный промпт — инструкции, которые задают поведение модели
- История диалога — все предыдущие сообщения в чате
- Загруженные файлы — документы, код, изображения
- Ваш текущий вопрос
- Ответ модели (генерируется в том же окне!)
Критически важно
Ответ модели тоже занимает место в контексте. Если вы попросите сгенерировать длинный текст, места для вашего следующего вопроса станет меньше.
Что происходит, когда контекст переполняется?
Разные системы обрабатывают это по-разному:
- Обрезка начала — удаляются самые старые сообщения
- Сжатие — AI создаёт краткое резюме старого контекста
- Ошибка — система отказывается обрабатывать слишком длинный запрос
Практические советы
| Проблема | Решение |
|---|---|
| AI "забывает" начало разговора | Начните новый чат, повторив ключевую информацию |
| Не помещается длинный документ | Разбейте на части, обрабатывайте последовательно |
| AI путается в длинном контексте | Давайте чёткую структуру, используйте разделители |
| Ответы становятся хуже к концу | "Lost in the middle" — размещайте важное в начале и конце |
Lost in the Middle
Исследования показали, что LLM хуже работает с информацией в середине длинного контекста. Размещайте самое важное в начале или конце промпта.
Для бизнес-задач 200K токенов (Claude) ≈ небольшая книга. Вы можете загрузить контракт, отчёт или документацию целиком и работать с ними.
Вопросы для размышления
- •Как ограничения контекстного окна влияют на дизайн AI-ассистентов для бизнеса?
- •Какие ваши рабочие документы поместятся в контекст современных моделей?