Исследователи Google DeepMind представили концепцию AI co-clinician — мультимодального помощника, способного анализировать видео и аудио в реальном времени под строгим контролем врача.
5 мин
Google DeepMind анонсировала новую исследовательскую инициативу под названием AI co-clinician. Цель проекта — создание искусственного интеллекта, который будет работать не вместо врача, а вместе с ним, формируя так называемую триадическую модель помощи (врач, пациент и ИИ). Это важный шаг в развитии медицинских технологий, переносящий фокус с простой генерации текста на комплексное взаимодействие в реальном времени.
Системы здравоохранения по всему миру сталкиваются с серьезными вызовами. По прогнозам Всемирной организации здравоохранения, к 2030 году глобальный дефицит медицинских работников превысит 10 миллионов человек. Ранее ИИ рассматривался как потенциальное решение этой проблемы, однако существующие инструменты не могли полностью удовлетворить потребности клинической практики. Эволюция медицинского ИИ в Google DeepMind началась с успешной сдачи экзаменов моделью MedPaLM и продолжилась системой AMIE, которая имитировала текстовые консультации. Теперь исследователи пошли дальше.
Advancements in research into medical AI so that they might be more trustworthy and helpful for clinicians in assisting patients.
Медицина не ограничивается текстом — она требует визуального и аудиального анализа. Поэтому новый AI co-clinician построен на базе мультимодальных технологий (включая наработки Gemini и Project Astra). В ходе слепых тестирований на 98 реалистичных запросах первичной медико-санитарной помощи система не допустила ни одной критической ошибки в 97 случаях, превзойдя широко используемые врачами инструменты синтеза данных.
Особое внимание уделялось работе с медикаментами. На сложной базе данных OpenFDA (бенчмарк RxQA) модель показала значительный прогресс в ответах на открытые вопросы, которые наиболее точно отражают реальную клиническую практику. Однако настоящим прорывом стали тесты в телемедицинском формате.
В сотрудничестве с врачами из Гарварда и Стэнфорда исследователи провели симуляцию 120 телемедицинских сеансов. ИИ анализировал видео и аудио в реальном времени, например, успешно корректируя технику использования ингалятора пациентом или направляя его движения для диагностики травмы вращательной манжеты плеча.
The study used a blind comparison of 98 realistic primary care queries, which were curated from a diverse range of sources and subsequently refined by a panel of attending physicians. This multi-step iterative process involved comprehensive background research and the development of query-specific answer metrics to enable a rigorous professional assessment of clinical accuracy and compliance with best practice guidance. By leveraging this expert-led refinement phase, the methodology allowed for a precise characterization of consensus scenario-specific errors of omission and commission, ensuring that the evaluation reflected the complexities of real-world clinical decision-making.
Результаты исследования показывают реальную картину возможностей технологии. По итогам оценки 140 аспектов консультации живые эксперты в целом превзошли ИИ, особенно в выявлении критических симптомов (red flags) и проведении сложных физикальных осмотров. При этом ИИ-ассистент показал результаты на уровне или выше врачей первичного звена в 68 из 140 оцениваемых областей.
Для обеспечения безопасности в системе используется двухагентная архитектура. Специальный модуль-планировщик (Planner) непрерывно отслеживает ход беседы, гарантируя точность и соответствие медицинским протоколам.
Эти данные подтверждают, что на текущем этапе ИИ не готов заменить клиническое суждение человека. Его роль — быть надежным ассистентом, который берет на себя рутинный синтез данных, помогает не упустить важные детали и расширяет возможности телемедицины. Внедрение таких систем потребует времени и бескомпромиссных мер безопасности, но направление развития индустрии уже определено.
RxQA was originally posed as a multiple-choice question (MCQ) test in which even primary care physicians scored modestly. While our results show significant improvements for AI systems’ MCQ performance in the openly available (OpenFDA) set of RxQA, clinicians’ needs in the real-world present as open-ended questions rather than a need to identify the correct answer from pre-determined options. On this more realistic clinical task of open-ended question-answering about medications, AI co-clinician outperforms available frontier models. Taken together, these results show that AI can mirror human physician proficiency in such aspects of clinical reasoning with opportunities for further improvement.
RxQA was originally posed as a multiple-choice question (MCQ) test in which even primary care physicians scored modestly. While our results show significant improvements for AI systems’ MCQ performance in the openly available (OpenFDA) set of RxQA, clinicians’ needs in the real-world present as open-ended questions rather than a need to identify the correct answer from pre-determined options. On this more realistic clinical task of open-ended question-answering about medications, AI co-clinician outperforms available frontier models. Taken together, these results show that AI can mirror human physician proficiency in such aspects of clinical reasoning with opportunities for further improvement.
Results from a randomized, interface-blinded, crossover simulation study involving 120 hypothetical telemedical encounters performed by real primary care physicians, the AI co-clinician or GPT-realtime. For the evaluation a pool of internal medicine residents served as patient actors, enacting 20 standardized outpatient scenarios. These scenarios, spanning a range of clinical conditions, were specifically designed to require proactive auditory and visual reasoning. Scenario-tailored criteria assessed seven domains of consultation quality, with each item using anchored 0–2 scoring to distinguish omissions, partial completion, and fully appropriate performance. Error bars correspond to 95% confidence intervals.
Results from a randomized, interface-blinded, crossover simulation study involving 120 hypothetical telemedical encounters performed by real primary care physicians, the AI co-clinician or GPT-realtime. For the evaluation a pool of internal medicine residents served as patient actors, enacting 20 standardized outpatient scenarios. These scenarios, spanning a range of clinical conditions, were specifically designed to require proactive auditory and visual reasoning. Scenario-tailored criteria assessed seven domains of consultation quality, with each item using anchored 0–2 scoring to distinguish omissions, partial completion, and fully appropriate performance. Error bars correspond to 95% confidence intervals.
Изображение из источника
Изображение из источника
Медицинский ИИ эволюционирует от текстовых чат-ботов к мультимодальным ассистентам, способным видеть и слышать пациента, работая под строгим контролем лечащего врача.
Переход к анализу видео и аудио в реальном времени оказался критически важным: текст фундаментально ограничивает клиническую ценность ИИ, так как не позволяет оценивать походку, дыхание или состояние кожи.
