Заявление Anthropic об опасности новой модели и проблема согласования ИИ

Недавно компания Anthropic сделала громкое заявление: их новая модель искусственного интеллекта может оказаться слишком опасной для публичного релиза. Это сообщение моментально вызвало полярные реакции в индустрии. Одни видят в этом ответственный подход к безопасности, другие — продуманный маркетинговый ход.

Чтобы понять суть происходящего, важно взглянуть на ситуацию без эмоций. Если Anthropic преувеличивает, мы имеем дело с классическим созданием искусственного ажиотажа. Но если они правы, перед нами встают фундаментальные проблемы, касающиеся будущего всей технологической отрасли и нашей способности контролировать передовые технологии.

Контекст ситуации уходит корнями в историю создания самой Anthropic. Компания была основана выходцами из OpenAI, которые покинули лабораторию именно из-за разногласий по вопросам безопасности и коммерциализации. С самого начала Anthropic позиционировала себя как исследовательская организация, ставящая во главу угла проблему согласования (alignment) — задачу обеспечения того, чтобы системы ИИ действовали в соответствии с человеческими ценностями и не причиняли вреда.

Исторически индустрия уже видела подобные прецеденты. Вспомним, как OpenAI изначально отказалась публиковать полную версию модели GPT-2, ссылаясь на риски генерации фейковых новостей. Позже модель была выпущена, а первоначальный отказ многие расценили как блестящий пиар-ход, привлекший внимание к мощности алгоритма. Именно поэтому текущие заявления Anthropic вызывают обоснованный скепсис у аналитиков и исследователей.

Детали подобных заявлений обычно сводятся к специфическим возможностям моделей. Когда разработчики говорят о слишком опасном ИИ, они редко имеют в виду сценарии из научной фантастики. Чаще всего речь идет о конкретных угрозах: способности модели писать сложные вредоносные программы, находить уязвимости в критической инфраструктуре или помогать в поиске информации для создания биологического оружия. Скептики указывают на то, что нарратив об опасном ИИ выгоден крупным корпорациям. Он помогает продвигать идеи жесткого регулирования, которое неизбежно создаст барьеры для входа новых игроков и стартапов на рынок — явление, известное как регуляторный захват (regulatory capture).

Однако анализ ситуации требует рассмотреть и второй сценарий. Что, если Anthropic абсолютно права? Если новая модель действительно обладает неконтролируемыми или непредсказуемыми опасными возможностями, это вызывает гораздо более глубокие опасения. Это будет означать, что законы масштабирования (scaling laws) — принцип, согласно которому увеличение вычислительных мощностей и объема данных делает модели умнее — работают быстрее, чем развиваются методы контроля над ИИ.