Обучение моделей: данные и параметры

Цели урока

После прохождения этого урока вы сможете:

1Понять три этапа обучения современных LLM

2Осознать масштаб данных и вычислений

3Узнать, почему разные модели ведут себя по-разному

Три этапа создания ChatGPT

Создание современной LLM — это многоэтапный процесс, каждый из которых формирует "характер" модели.

Масштабы, которые сложно представить

Метрика	GPT-3 (2020)	GPT-4 (2023)	GPT-5.2 (2026)
Параметры	175 млрд	~1.8 трлн	~10 трлн (оценка)
Данные для обучения	~500 млрд токенов	~13 трлн токенов	~50+ трлн токенов
Стоимость обучения	~$5 млн	~$100 млн	~$500 млн+
Время обучения	Недели	Месяцы	6+ месяцев на кластерах H100

Что это значит для вас?

Обучение большой модели — это инвестиция в сотни миллионов долларов. Но использование готовой модели стоит копейки за запрос. Вы получаете доступ к этим инвестициям за $20/месяц.

Почему Claude отличается от ChatGPT?

Хотя принципы одинаковы, каждая компания делает разные выборы:

Данные — какие тексты включены в обучение, какие отфильтрованы
RLHF — какие ответы люди считали "хорошими"
Политики — что модели разрешено и запрещено
Архитектура — технические детали нейросети

Поэтому Claude может отказаться помочь с задачей, с которой справится ChatGPT, и наоборот. Это не "баг", а намеренный выбор создателей.

Для критических задач пробуйте несколько моделей. То, что одна делает плохо, другая может делать отлично.

Вопросы для размышления

•Почему компании тратят сотни миллионов на обучение моделей, если результат можно просто скопировать?

•Как RLHF влияет на "характер" модели — её осторожность, полезность, отказы?