Deep Learning
Определение
Глубокое обучение — подраздел машинного обучения, использующий многослойные нейронные сети для обработки сложных данных и выявления абстрактных паттернов.
Простое объяснение
Представь много-много слоёв фильтров, через которые проходит информация. Каждый слой находит что-то важное, и в конце получается умный вывод.
Подробнее
«Глубина» означает множество слоёв в нейросети. Преимущества:
- Автоматическое извлечение признаков
- Работа с неструктурированными данными
- Масштабируемость с ростом данных
Архитектуры: CNN (изображения), RNN/LSTM (последовательности), Transformer (текст).
Связанные термины
Pre-training
Предобучение — начальный этап обучения AI-модели на огромных объёмах неразмеченных данных для формирования базовых знаний и способностей.
Transformer
Трансформер — архитектура нейронной сети с механизмом внимания (attention), ставшая основой современных языковых моделей и генеративного AI.
Unsupervised Learning
Обучение без учителя — тип машинного обучения, при котором модель находит скрытые паттерны в данных без предварительной разметки.
KV Cache
KV Cache — механизм кэширования ключей (Keys) и значений (Values) в трансформерах для ускорения авторегрессивной генерации.
Speculative Decoding
Speculative Decoding — метод ускорения inference LLM, где маленькая модель генерирует черновые токены, а большая модель верифицирует их параллельно.
Fine-tuning
Дообучение — процесс адаптации предобученной AI-модели к конкретной задаче или домену путём дополнительного обучения на специализированных данных.