Парадокс Думера: Пессимисты оказались слишком оптимистичны
421 эксперт пытался предсказать будущее AI. Они угадали почти всё, кроме самого страшного: киберугроз и биологического оружия. Реальность опережает даже самые мрачные прогнозы.
421 эксперт пытался предсказать будущее AI. Они угадали почти всё, кроме самого страшного: киберугроз и биологического оружия. Реальность опережает даже самые мрачные прогнозы.
2 мин

Каждый второй пост про AI начинается с банального «прогресс идет быстро». Но насколько быстро? И, что важнее, понимаем ли мы, куда несемся?
Epoch AI и AI Digest провели масштабный опрос 421 эксперта. И результаты заставляют нервно проверять запасы консервов.
Забудьте о седых профессорах. Типичный предсказатель — это джуниор. 80% опрошенных имеют опыт работы в AI менее 5 лет. Это те самые ребята, которые пишут код, тренируют модели и видят «внутренности» нейросетей каждый день.
И они напуганы.
Самое страшное не в том, что они ошиблись, а в том, в какую сторону.
Эксперты почти идеально предсказали рост математических способностей моделей (бенчмарки FrontierMath и RE-Bench). Но они катастрофически недооценили способность AI к взлому и кибератакам.
Взгляните на Cybench (тест на профессиональные задачи по кибербезопасности):
Модели научились ломать системы на 20 пунктов быстрее, чем ожидали даже «думеры».
Пока мы обсуждали генерацию картинок, OpenAI тихо обновила свои метрики риска.
Эксперты ожидали, что риск в категории CBRN (химические, биологические, радиологические и ядерные угрозы) останется «средним». Они ошиблись. OpenAI повысила уровень риска до «Высокого» (High).
Есть пугающая теория: лаборатории намеренно занижают или скрывают результаты по опасным бенчмаркам. Высокий балл в кибербезопасности — это не повод для гордости в пресс-релизе, а красная тряпка для регуляторов.
Мы видим только верхушку айсберга. Если даже пессимистично настроенные инсайдеры недооценивают скорость, с которой AI учится создавать биологическое оружие и взламывать сервера, то, возможно, «индустриальная революция» покажется нам детским утренником.
Молодые AI-специалисты точно предсказывают технический прогресс, но даже они недооценивают скорость роста реальных угроз (кибератаки и биооружие).
Лаборатории могут намеренно скрывать успехи в опасных областях (взлом, создание вирусов), чтобы не привлекать внимание властей, создавая иллюзию более медленного прогресса.