OpenAI покупает Promptfoo: безопасность корпоративных ИИ-агентов выходит на первый план

OpenAI объявила о приобретении стартапа Promptfoo, специализирующегося на безопасности и оценке систем искусственного интеллекта. Главная цель сделки — интеграция технологий тестирования в платформу OpenAI Frontier, которая предназначена для создания корпоративных ИИ-помощников. Это решение отражает растущую потребность бизнеса в надежных и предсказуемых автономных системах.

Внедрение искусственного интеллекта в корпоративную среду переходит на новый этап. Компании больше не ограничиваются базовыми чат-ботами. Они создают автономных агентов, которые интегрируются в рабочие процессы, получают доступ к базам данных и могут использовать внешние инструменты. С ростом автономности кратно возрастают и риски: от утечек конфиденциальной информации до несанкционированного выполнения команд.

Promptfoo решает именно эту проблему. Команда под руководством Иэна Вебстера и Майкла Д’Анджело создала мощный набор инструментов для поиска уязвимостей (red-teaming) и оценки приложений на базе больших языковых моделей (LLM). По данным компании, их решениями уже пользуются более 25 процентов корпораций из списка Fortune 500. Продукт включает в себя интерфейс командной строки (CLI) с открытым исходным кодом, который OpenAI обещает поддерживать и развивать в будущем.

Интеграция Promptfoo в OpenAI Frontier позволит автоматизировать тестирование безопасности на самых ранних этапах разработки. Платформа получит встроенные механизмы для выявления таких угроз, как инъекции промптов (prompt injections), обход ограничений (jailbreaks) и нецелевое использование инструментов. Разработчики смогут не только находить уязвимости, но и вести подробную документацию всех тестов, что критически важно для соответствия корпоративным стандартам и нормативным требованиям (compliance).