S
Summarization
Также известен как: Суммаризация, Text Summarization, Краткое изложение
Данные и аналитикаОпределение
Summarization — автоматическое создание краткого изложения длинного текста с сохранением ключевой информации.
Простое объяснение
Summarization — как попросить умного помощника "прочитай этот длинный документ и расскажи главное за 2 минуты".
Подробнее
Два подхода: extractive (выбор важных предложений из оригинала) и abstractive (генерация нового текста). LLM совершили прорыв в abstractive summarization: модели понимают смысл и перефразируют. Применения: суммаризация новостей, meeting notes, документов, email threads. ROUGE metrics оценивают качество. Challenges: factual consistency (не добавлять ложную информацию), длинные документы (превышают контекст). RAG + summarization позволяют работать с документами любой длины.
Связанные термины
Retrieval
Retrieval — поиск и извлечение релевантной информации из базы данных или корпуса документов по запросу.
Knowledge Graph
Граф знаний — структура данных, представляющая информацию в виде сети связанных сущностей и отношений между ними, используемая для улучшения AI-систем.
Contamination
Contamination (утечка данных) — проблема попадания тестовых данных в обучающую выборку, что приводит к завышенным результатам на бенчмарках.
Датасет
Датасет — набор данных, используемый для обучения, валидации и тестирования AI-моделей.