N
Named Entity Recognition
Также известен как: NER, Распознавание именованных сущностей
Данные и аналитикаОпределение
Named Entity Recognition (NER) — извлечение из текста именованных сущностей: людей, организаций, мест, дат, сумм и других.
Простое объяснение
NER — как маркер, который автоматически выделяет в тексте имена людей жёлтым, компании — синим, места — зелёным.
Подробнее
NER — фундаментальная задача информационного извлечения. Модель находит spans текста и классифицирует их: PERSON (Илон Маск), ORG (Tesla), LOC (Калифорния), DATE (2024), MONEY ($1 млрд). Подходы: rule-based, CRF, BiLSTM-CRF, transformer-based (BERT). SpaCy, Flair, HuggingFace предоставляют готовые модели. Custom NER обучается на домен-специфичных сущностях (названия лекарств, юридические термины). Используется в поиске, knowledge graphs, автоматизации документов.
Связанные термины
Big Data
Большие данные — массивы информации огромного объёма, которые невозможно обработать традиционными методами, но которые служат основой для обучения AI-моделей.
Предиктивная аналитика
Предиктивная аналитика — использование исторических данных и ML для прогнозирования будущих событий, трендов и поведения.
Question Answering
Question Answering (QA) — задача автоматического ответа на вопросы на естественном языке на основе текста или базы знаний.
BLEU/ROUGE
BLEU и ROUGE — классические метрики для оценки качества генерации текста путём сравнения с эталонными ответами.