D
Data Labeling
Также известен как: Разметка данных, Data Annotation
Данные и аналитикаОпределение
Data Labeling — процесс разметки данных людьми для создания обучающих выборок для supervised learning моделей.
Простое объяснение
Data Labeling — как обучение AI на примерах, размеченных людьми. Показываем "это кот, это собака" много раз, пока AI не научится различать сам.
Подробнее
Data labeling — критический этап ML pipeline. Типы: image annotation (bounding boxes, segmentation), text labeling (classification, NER, sentiment), audio transcription. Подходы: in-house teams, crowdsourcing (Amazon Mechanical Turk), specialized vendors (Scale AI, Labelbox). Quality control: multiple annotators, gold standard sets, inter-annotator agreement. Cost и time — основные bottlenecks. Active learning оптимизирует: модель выбирает, какие примеры разметить. RLHF требует preference labeling. Self-supervised и foundation models снижают зависимость от labeled data.
Связанные термины
Question Answering
Question Answering (QA) — задача автоматического ответа на вопросы на естественном языке на основе текста или базы знаний.
Machine Translation
Machine Translation — автоматический перевод текста с одного языка на другой с помощью AI-моделей.
Retrieval
Retrieval — поиск и извлечение релевантной информации из базы данных или корпуса документов по запросу.
Contamination
Contamination (утечка данных) — проблема попадания тестовых данных в обучающую выборку, что приводит к завышенным результатам на бенчмарках.