Ученые из Университета искусственного интеллекта им. Мохамеда бин Заида (MBZUAI) совместно со специалистами Corniche Hospital представили FetalCLIP — первую специализированную мультимодальную фундаментальную модель для анализа ультразвуковых исследований плода на базе алгоритмов искусственного интеллекта (ИИ). Модель обучена на крупнейшем наборе пар «изображение—текст» для фетального УЗИ (более 210 тыс. пар), говорится в исследовании, опубликованном в журнале Digital Medicine.
FetalCLIP способна без дополнительной донастройки выполнять широкий спектр задач: классифицировать стандартные ультразвуковые срезы, определять гестационный возраст, сегментировать анатомические структуры и выявлять врожденные пороки сердца по видеозаписям. Разработка показала высокие результаты: средний F1 при распознавании срезов — 87,1% (на 17,2 п.п. выше специализированной системы SonoNet), корректное определение гестационного возраста по срезам мозга — 83,5%, AUROC при выявлении пороков сердца по видео — 78,7% (улучшение на 6,92 п.п.), средний Dice при сегментации — 84,22%.
F-мера — показатель эффективности прогнозирования. Она рассчитывается на основе точности и полноты результатов тестирования. F1 — это среднее гармоническое точности и отзыва. AUROC (Area Under the Receiver Operating Characteristic curve) — метрика, которая показывает, насколько хорошо модель умеет ранжировать объекты: правильно ли она отличает «положительные» примеры от «отрицательных». Dice Score — метрика, которая показывает, насколько сильно пересекаются два множества — предсказанная область и реальная. Чем больше перекрытие, тем выше Dice.
Авторы подчеркивают, что успех обеспечил крупный мультимодальный датасет, где клинические изображения дополнялись автоматически сгенерированными текстовыми описаниями с помощью GPT‑4o. Они отмечают, что модель преимущественно обучалась на данных второго триместра и пока не предназначена для автономной клинической диагностики. Тем не менее FetalCLIP рассматривают как мощный инструмент поддержки принятия решений, особенно в условиях дефицита опытных специалистов. Для ускорения внедрения авторы опубликовали исходный код и предобученную модель в открытом доступе.
