Урок 12 из 16•15 мин
Тестирование и отладка навыков
Цели урока
После прохождения этого урока вы сможете:
- 1Научиться тестировать навыки
- 2Понять типичные ошибки
- 3Освоить итеративное улучшение
Зачем тестировать навыки
Навык может работать не так, как задумано: агент может не активировать его, неправильно интерпретировать инструкции или выдавать inconsistent результаты.
Чек-лист тестирования
- Активация: Навык срабатывает на нужные запросы
- Не-активация: Навык НЕ срабатывает на нерелевантные запросы
- Инструкции: Агент следует правилам из навыка
- Формат: Выход соответствует шаблонам
- Краевые случаи: Навык обрабатывает нестандартный ввод
Типичные ошибки
| Проблема | Причина | Решение |
|---|---|---|
| Навык не активируется | Слишком узкое описание | Добавить больше триггеров в Description |
| Активируется когда не нужно | Слишком широкое описание | Уточнить условия активации |
| Игнорирует правила | Нечёткие инструкции | Сделать инструкции конкретнее |
| Inconsistent результаты | Нет примеров | Добавить examples/ |
| Не находит доп. файлы | Неправильный путь | Проверить @references |
Методика тестирования
markdown
# Test Plan для навыка
## 1. Тесты активации
- [ ] "Проанализируй рекламу" → активирует
- [ ] "Посчитай ROAS" → активирует
- [ ] "Напиши стихотворение" → НЕ активирует
- [ ] "Как дела?" → НЕ активирует
## 2. Тесты функциональности
- [ ] CSV с полными данными → корректный отчёт
- [ ] CSV с пропущенными значениями → предупреждение
- [ ] Пустой файл → понятная ошибка
## 3. Тесты формата
- [ ] Отчёт содержит все секции
- [ ] Числа округлены правильно
- [ ] Валюта указана (₽)Итеративное улучшение
Навыки редко получаются идеальными с первого раза. Используйте цикл:
- Создать начальную версию навыка
- Протестировать на реальных запросах
- Собрать feedback (что не работает)
- Улучшить инструкции
- Повторить до достижения качества
Совет
Записывайте все случаи, когда навык работал неправильно. Это лучший источник идей для улучшения.
Попросите коллегу протестировать ваш навык. Свежий взгляд часто находит проблемы, которые автор пропустил.
Вопросы для размышления
- •Какие тесты вы бы написали для своего навыка?
- •Как часто нужно пересматривать и обновлять навыки?
