Big Data
Определение
Большие данные — массивы информации огромного объёма, которые невозможно обработать традиционными методами, но которые служат основой для обучения AI-моделей.
Простое объяснение
Представь огромную библиотеку, где книги поступают каждую секунду со всего мира. Компьютеры читают всё это и находят полезные закономерности.
Подробнее
Big Data характеризуется «3V»:
- Volume — огромный объём (петабайты данных)
- Velocity — высокая скорость поступления
- Variety — разнообразие форматов
Большие данные — топливо для машинного обучения. Чем больше качественных данных, тем лучше работает AI.
Связанные термины
MMLU
MMLU (Massive Multitask Language Understanding) — бенчмарк для оценки знаний и способности к рассуждению LLM по 57 предметным областям.
Anomaly Detection
Anomaly Detection — автоматическое выявление необычных паттернов, выбросов или аномалий в данных.
Хранилище данных
Хранилище данных (Data Warehouse) — централизованная система для хранения и анализа больших объёмов структурированных данных для бизнес-аналитики и AI.
База знаний
База знаний — структурированное хранилище информации, используемое AI-системами для поиска фактов и контекста при генерации ответов.