Цикл самоулучшения

Что такое самоулучшение агента

Самоулучшение - это способность AI-агента становиться лучше с каждой выполненной задачей. Обычный чат-бот совершает одну и ту же ошибку бесконечно. Агент с циклом самоулучшения анализирует результаты, выявляет паттерны неудач и обновляет свои навыки. Это ключевое отличие инструмента от напарника.

Пять этапов цикла

Atropos RL - обучение с подкреплением в Hermes 4

Hermes 4 использует систему Atropos RL - собственный фреймворк NousResearch для обучения с подкреплением. Atropos работает с приблизительно 1000 верификаторов на 60 миллиардах токенов данных. Каждый ответ модели проверяется по множеству критериев: точность, полнота, следование инструкциям, безопасность. На основе этих оценок модель корректирует свое поведение.

Ключевое отличие Atropos от стандартного RLHF (обучения с подкреплением на основе обратной связи от людей) - использование автоматических верификаторов вместо ручной разметки. Это позволяет масштабировать процесс обучения и быстрее итерировать.

Статистика самоулучшения

Autonomous Curator - автоматическая оценка навыков

Начиная с версии 0.12, Hermes Agent включает модуль Autonomous Curator. Это встроенная система, которая автоматически оценивает качество библиотеки навыков агента. Curator анализирует частоту использования навыков, процент успешных выполнений, среднее время и ресурсоемкость. На основе этих данных система предлагает: удалить неиспользуемые навыки, объединить дублирующие, оптимизировать часто используемые.

Лог самоулучшения - практический пример

# Пример лога самоулучшения Hermes Agent
# Файл: data/improvement-log.yaml

session: "2026-06-09-001"
task: "Сгенерировать отчет о продажах за май"
result: partial_success
duration: 45s

feedback:
  user_rating: 3/5
  issues:
    - "Не включил данные по возвратам"
    - "Формат таблицы неудобный"

analysis:
  root_cause: "Навык report_generator не запрашивает данные о возвратах"
  missing_context: "Пользователь ожидает формат с группировкой по категориям"
  similar_past_errors: 2

improvement:
  action: "update_skill"
  skill: "report_generator"
  changes:
    - "Добавить запрос данных о возвратах в шаблон"
    - "Использовать группировку по категориям по умолчанию"
    - "Спрашивать формат, если не указан явно"
  applied: true
  verified: true

# Следующая сессия:
# session: "2026-06-09-002"
# task: "Отчет по продажам за апрель"
# result: success
# user_rating: 5/5
# note: "Автоматически включил возвраты и группировку"

Статический бот и самоулучшающийся агент