Датасет
Определение
Датасет — набор данных, используемый для обучения, валидации и тестирования AI-моделей.
Простое объяснение
Это набор данных для обучения AI — как учебник с примерами и правильными ответами.
Подробнее
Характеристики качественного датасета:
- Размер — достаточный объём данных
- Качество — чистые, корректные данные
- Репрезентативность — отражает реальность
- Разметка — правильные метки
Известные датасеты: ImageNet, Common Crawl, The Pile.
Связанные термины
Text Classification
Text Classification — автоматическое присвоение текстам категорий или меток на основе их содержания.
Хранилище данных
Хранилище данных (Data Warehouse) — централизованная система для хранения и анализа больших объёмов структурированных данных для бизнес-аналитики и AI.
Управление данными
Управление данными (Data Management) — процессы сбора, хранения, обработки и защиты данных, критичные для работы AI-систем.
Named Entity Recognition
Named Entity Recognition (NER) — извлечение из текста именованных сущностей: людей, организаций, мест, дат, сумм и других.
Big Data
Большие данные — массивы информации огромного объёма, которые невозможно обработать традиционными методами, но которые служат основой для обучения AI-моделей.
Recommendation System
Recommendation System — алгоритм, предсказывающий предпочтения пользователя и предлагающий релевантный контент или продукты.