Big Data
Определение
Большие данные — массивы информации огромного объёма, которые невозможно обработать традиционными методами, но которые служат основой для обучения AI-моделей.
Простое объяснение
Представь огромную библиотеку, где книги поступают каждую секунду со всего мира. Компьютеры читают всё это и находят полезные закономерности.
Подробнее
Big Data характеризуется «3V»:
- Volume — огромный объём (петабайты данных)
- Velocity — высокая скорость поступления
- Variety — разнообразие форматов
Большие данные — топливо для машинного обучения. Чем больше качественных данных, тем лучше работает AI.
Связанные термины
Датасет
Датасет — набор данных, используемый для обучения, валидации и тестирования AI-моделей.
Contamination
Contamination (утечка данных) — проблема попадания тестовых данных в обучающую выборку, что приводит к завышенным результатам на бенчмарках.
MMLU
MMLU (Massive Multitask Language Understanding) — бенчмарк для оценки знаний и способности к рассуждению LLM по 57 предметным областям.
Perplexity (метрика)
Perplexity — метрика качества языковой модели, показывающая, насколько модель "удивлена" тестовыми данными. Чем ниже perplexity, тем лучше модель.