Big Data
Определение
Большие данные — массивы информации огромного объёма, которые невозможно обработать традиционными методами, но которые служат основой для обучения AI-моделей.
Простое объяснение
Представь огромную библиотеку, где книги поступают каждую секунду со всего мира. Компьютеры читают всё это и находят полезные закономерности.
Подробнее
Big Data характеризуется «3V»:
- Volume — огромный объём (петабайты данных)
- Velocity — высокая скорость поступления
- Variety — разнообразие форматов
Большие данные — топливо для машинного обучения. Чем больше качественных данных, тем лучше работает AI.
Связанные термины
Machine Translation
Machine Translation — автоматический перевод текста с одного языка на другой с помощью AI-моделей.
Question Answering
Question Answering (QA) — задача автоматического ответа на вопросы на естественном языке на основе текста или базы знаний.
Retrieval
Retrieval — поиск и извлечение релевантной информации из базы данных или корпуса документов по запросу.
BLEU/ROUGE
BLEU и ROUGE — классические метрики для оценки качества генерации текста путём сравнения с эталонными ответами.