Исследователи из MIT и компании Motional разработали алгоритм, который переводит сложные решения автопилота в понятные концепции, помогая водителям и инженерам предотвращать аварии.
3 мин
Исследователи из Массачусетского технологического института (MIT) совместно с компанией Motional представили CW-Net — новый метод, который объясняет логику работы систем искусственного интеллекта беспилотных автомобилей. Алгоритм переводит сложные вычислительные процессы в понятные человеку концепции в режиме реального времени. Результаты исследования были опубликованы в престижном научном журнале Nature.
Современные автономные транспортные средства управляются моделями глубокого обучения (deep learning). Эти модели часто действуют как «черные ящики», чьи внутренние процессы принятия решений скрыты от разработчиков и пассажиров. Из-за этого бывает сложно понять, почему автомобиль внезапно затормозил на пустой дороге (так называемое фантомное торможение) или совершил неожиданный маневр. Человеку, находящемуся за рулем или в салоне, необходимо быстро прогнозировать такие ошибки, чтобы успеть перехватить управление и предотвратить столкновение.
robot child graphic
Система CW-Net, или Concept-Wrapper Network (сеть обертывания концепций), решает эту проблему путем интеграции специального классификатора в архитектуру планировщика автопилота. Алгоритм был обучен на масштабном наборе данных, включающем 130 миллионов сцен вождения. Благодаря этому он умеет распознавать высокоуровневые ситуации, такие как «приближение к остановившемуся автомобилю» или «опасная близость к велосипедисту».
Во время работы система заставляет основную нейросеть автопилота опираться на эти понятные метки при планировании маршрута. Важно отметить, что внедрение CW-Net не ухудшает качество вождения оригинальной модели. Система генерирует текстовые объяснения параллельно с построением траектории движения транспортного средства, обеспечивая причинно-следственную достоверность.
На практике это радикально меняет взаимодействие человека и машины. В ходе испытаний на закрытом треке с реальным роботакси произошел показательный случай. Автомобиль резко остановился перед велосипедистом, и водитель-испытатель логично предположил, что система корректно распознала человека на дороге.
A car senses the people on a crosswalk and says, “approaching pedestrians.”
Однако данные CW-Net показали совершенно иную картину. Выяснилось, что базовая нейросеть не смогла классифицировать велосипедиста и изначально выбрала траекторию, ведущую к столкновению. Остановка произошла исключительно из-за срабатывания независимой системы экстренного торможения по факту критического сближения с неопознанным препятствием.
Масштабные симуляции на основе реальных дорожных ситуаций в Лас-Вегасе подтвердили эффективность подхода. Понимание истинных причин действий автопилота позволяет инженерам точечно исправлять уязвимости в алгоритмах. Водители, в свою очередь, получают возможность точнее прогнозировать поведение машины в нестандартных ситуациях и вовремя брать управление на себя.
Проблема интерпретируемости искусственного интеллекта является одним из главных барьеров на пути к массовому внедрению беспилотного транспорта. Разработки, подобные CW-Net, закладывают необходимый фундамент доверия к технологии. В будущем этот подход может быть адаптирован для других критически важных сфер, где цена ошибки алгоритма слишком высока.
A car senses the people on a crosswalk and says, “approaching pedestrians.”
Illustration of the interior of a self-driving car looking out, with heads-up displays as a person in the driver seat reads a book
Researchers are examining how quickly drivers can detect and correctly respond to road hazards, to improve safety of “semiautonomous” cars.
A doctor holds a stethoscope saying “AI,” which is linked to inset clipboard with checkmarks.
Iwnetim Abate poses seated on a blue couch in a small office
Headshots of Srinivasan Arunachalam, Zhang-Wei Hong, and Irene Ko
A red laser turns grey and fizzles out when passing through an “question mark” error message.
Walter Torous headshot
Алгоритм CW-Net переводит внутреннюю логику ИИ беспилотных автомобилей в понятные человеку концепции, повышая прозрачность системы и помогая предотвращать аварии.
Истинная причина действий автопилота часто расходится с логичными предположениями человека. Например, машина может затормозить перед пешеходом не потому, что распознала его, а из-за срабатывания радара предотвращения столкновений с неопознанным объектом.
