Парадокс Думера: Пессимисты оказались слишком оптимистичны

Каждый второй пост про AI начинается с банального «прогресс идет быстро». Но насколько быстро? И, что важнее, понимаем ли мы, куда несемся?

Epoch AI и AI Digest провели масштабный опрос 421 эксперта. И результаты заставляют нервно проверять запасы консервов.

Кто эти люди?

Забудьте о седых профессорах. Типичный предсказатель — это джуниор. 80% опрошенных имеют опыт работы в AI менее 5 лет. Это те самые ребята, которые пишут код, тренируют модели и видят «внутренности» нейросетей каждый день.

И они напуганы.

• 90% из них ожидают появление человекоподобного интеллекта (HLMI) к 2040 году.
• 75% считают, что существует реальный риск вымирания человечества из-за AI.

Где они ошиблись?

Самое страшное не в том, что они ошиблись, а в том, в какую сторону.

Эксперты почти идеально предсказали рост математических способностей моделей (бенчмарки FrontierMath и RE-Bench). Но они катастрофически недооценили способность AI к взлому и кибератакам.

Взгляните на Cybench (тест на профессиональные задачи по кибербезопасности):

• Ожидание экспертов: 62% успеха.
• Реальность: 82% успеха.

Модели научились ломать системы на 20 пунктов быстрее, чем ожидали даже «думеры».

Тихая тревога OpenAI

Пока мы обсуждали генерацию картинок, OpenAI тихо обновила свои метрики риска.

Эксперты ожидали, что риск в категории CBRN (химические, биологические, радиологические и ядерные угрозы) останется «средним». Они ошиблись. OpenAI повысила уровень риска до «Высокого» (High).

Почему мы этого не видим?

Есть пугающая теория: лаборатории намеренно занижают или скрывают результаты по опасным бенчмаркам. Высокий балл в кибербезопасности — это не повод для гордости в пресс-релизе, а красная тряпка для регуляторов.

Мы видим только верхушку айсберга. Если даже пессимистично настроенные инсайдеры недооценивают скорость, с которой AI учится создавать биологическое оружие и взламывать сервера, то, возможно, «индустриальная революция» покажется нам детским утренником.