Российские ученые научили ИИ предсказывать, куда посмотрит врач на рентген-снимке

Исследователи российского ИТ-вуза разработали мультимодальную ИИ-модель «ЛогитГейз-Мед» (LogitGaze-Med), которая объединяет зрение, язык и медицинские знания для предсказания взгляда рентгенолога, изучающего медицинские снимки. В отличие от существующих методов, которые полагаются на общие модели и данные о самых «заметных» участках изображения, новая модель учитывает конкретную диагностическую задачу, например, поиск признаков пневмонии или застойной сердечной недостаточности, и детальную клиническую семантику — важные для врача смысловые признаки на снимке: анатомические структуры, контуры сердца, затемнения, участки легочной ткани и признаки конкретных патологий.

Дмитрий Львов, специалист Лаборатории искусственного интеллекта в медицине Университета Иннополис: «Наша модель связывает пиксели не просто с яркими областями, а с медицинским смыслом этих областей и с диагностической задачей. Для этого мы впервые применили в медицинской визуализации метод «логит-линзы» к большой, обученной на биомедицинских данных модели, способной понимать связь между изображениями и текстом. Это помогло заглянуть внутрь нейросети и извлечь из отдельных фрагментов снимка, то есть патчей, понятные человеку семантические описания: «кость», «сердце», «затемнение»».

«ЛогитГейз-Мед» объединяет три типа данных: визуальные признаки, полученные от специализированных медицинских алгоритмов, текстовые описания диагностических меток, например, «норма» или «пневмония», и семантические данные на уровне патчей, извлеченные с помощью «логит-линзы». В результате модель предсказывает не только тепловую карту внимания, а последовательность фиксаций взгляда: координаты участков снимка и длительность внимания к ним — именно так как врач-рентгенолог распределяет внимание при конкретном клиническом поиске. Это называется синтетической траекторией взгляда. Такие предсказанные ИИ-моделью траектории взгляда прошли слепую экспертную оценку практикующего рентгенолога и получили высокие оценки по визуальному реализму — 4,3 балла из 5, и клинической значимости — 4,2 балла из 5. По словам авторов статьи, эксперт лишь в 58% случаев отличил сгенерированные траектории взгляда врача от реальных.

Также синтетические траектории взгляда были использованы в эксперименте как дополнительная информация для обучения классификатора патологий на снимках грудной клетки, взятых из общедоступной базы медицинских данных. Применение модели «ЛогитГейз-Мед» позволило исследователям повысить точность распознавания сердечной недостаточности и пневмонии более чем на 5%.
Илья Першин, руководитель Лаборатории искусственного интеллекта в медицине Университета Иннополис: «Наше исследование внесло вклад в решение фундаментальной проблемы нехватки данных о движении взгляда врачей при анализе медицинских снимков. Генерация реалистичных синтетических траекторий взгляда рентгенолога позволит системам на базе таких моделей в реальном времени направлять внимание менее опытных врачей к потенциально проблемным областям на рентгенограммах, повторяя логику врача-эксперта. Модель «ЛогитГейз-Мед» может лечь в основу симуляторов для обучения будущих рентгенологов правильным паттернам визуального поиска. Кроме того, предсказание взгляда делает работу медицинских ИИ-систем более понятной и обоснованной для врача, укрепляя доверие к технологиям. Конечно, внедрение и масштабирование модели потребует дополнительной валидации в разных медицинских учреждениях».

Статья «От человеческого внимания к диагнозу: семантическая интеграция моделей Vision-Language на уровне патчей в медицинской визуализации» (From Human Attention to Diagnosis: Semantic Patch-Level Integration of Vision-Language Models in Medical Imaging) опубликована в сборнике научных работ Конференции по нейронным информационным системам NeurIPS. Ее авторы — сотрудники Лаборатории искусственного интеллекта в медицине Исследовательского центра в сфере ИИ Университета Иннополис Дмитрий Львов и Илья Першин. Научная работа написана при поддержке Министерства экономического развития России.

---

Источник: https://cnews.ru/link/n688076
Дата: 12.05.2026

---

Последние новости: