Медицинский ИИ от Google научился анализировать визуальные и звуковые сигналы во время видеозвонков, проводя виртуальные осмотры на уровне врачей первичного звена.
3 мин
Google Research совместно с Google DeepMind продемонстрировали новый этап развития своей медицинской системы искусственного интеллекта AMIE. Теперь она способна проводить клинические видеоконсультации в реальном времени. Это важный шаг, поскольку он переводит взаимодействие с медицинским ИИ из формата текстового чата в полноценный визуальный и звуковой контакт, имитирующий настоящий прием у врача.
Традиционно медицинские модели обучались преимущественно на текстовых данных. Это истории болезни, медицинские справочники и результаты лабораторных анализов. Однако в реальной клинической практике врач получает огромный объем критически важной информации невербально. Опытный специалист всегда обращает внимание на характер кашля, особенности походки, цвет кожных покровов или видимые признаки физического дискомфорта. До сих пор алгоритмы были лишены этой модальности, оставаясь ограниченными исключительно тем, что пациент способен написать.
Изображение из источника
Обновленная система AMIE построена на базе больших языковых моделей (LLM) семейства Gemini и технологий Project Astra. Она использует сложную мультиагентную архитектуру для одновременной обработки различных потоков данных. Система не только слушает жалобы, но и интерпретирует визуальные и звуковые сигналы прямо во время разговора. Более того, AMIE способна направлять пациента для проведения базового виртуального физического осмотра и в реальном времени выстраивать диагностическую логику, задавая уточняющие вопросы на основе увиденного.
В ходе рандомизированного исследования разработчики сравнили работу AMIE с практикующими врачами первичного звена. В эксперименте принимали участие специально обученные актеры, симулирующие различные заболевания. Клинические эксперты, оценивавшие результаты, высоко оценили работу искусственного интеллекта. Система показала результаты, соответствующие высоким стандартам по тщательности сбора анамнеза, точности поставленных диагнозов, адекватности предложенного плана лечения и общему качеству коммуникации. Сами актеры также отметили, что видеоформат оказался для них гораздо комфортнее и предпочтительнее обычного текстового чата.
Изображение из источника
Переход к видеоформату означает качественный сдвиг в развитии телемедицины и цифрового здравоохранения. Мультимодальные модели начинают решать комплексные задачи, требующие одновременного анализа потоковой речи, визуальных образов и сложной медицинской теории. Использование технологий Project Astra наглядно показывает, что концепция умных агентов, способных воспринимать мир через камеру устройства и реагировать без задержек, находит прямое применение в узкоспециализированных и ответственных отраслях. Это существенно снижает барьер входа для пациентов, которым часто бывает сложно точно описать свои симптомы текстом.
Несмотря на впечатляющие результаты клинических симуляций, AMIE пока остается исключительно исследовательской системой. Разработчики из Google прямо подчеркивают, что до реального клинического применения и внедрения в больницы предстоит пройти долгий путь. Впереди необходимы масштабные испытания на реальных пациентах, решение сложных этических вопросов, обеспечение абсолютной конфиденциальности видеоданных и получение строгих одобрений от регулирующих органов в сфере здравоохранения. Тем не менее, этот эксперимент дает ясное и обоснованное представление о том, как могут выглядеть технологии первичного приема в ближайшем будущем.
Изображение из источника
Изображение из источника
Медицинский ИИ делает шаг от текстового взаимодействия к мультимодальному анализу, позволяя проводить полноценные видеоконсультации в реальном времени.
Главное преимущество видео-ИИ заключается в способности замечать невербальные симптомы, такие как характер дыхания или мимика, которые пациенты почти никогда не могут корректно описать в текстовом формате.
