Чтобы понять, насколько полезны инструменты ИИ при принятии клинических решений, команда ученых из США провела рандомизированное контролируемое исследование, в котором приняли участие 92 практикующих врача.
Участников-добровольцев разделили на 2 группы: одна использовала нейросеть для помощи в принятии решений наряду с традиционными медицинскими ресурсами, а другая полагалась исключительно на традиционные ресурсы. Кроме того, была включена группа, использующая только ИИ, где GPT-4 самостоятельно отвечал на вопросы по случаям без участия врача, что позволило напрямую сравнить врачей, использующих ИИ, и тех, кто полагается на традиционные ресурсы. Каждому врачу было поручено решить пять клинических случаев, созданных экспертами на основе реальных, но обезличенных историй болезни пациентов.
Кроме того, чтобы воспроизвести реальные клинические условия, детали случаев раскрывались последовательно, что требовало от врачей динамической корректировки своих планов лечения. Основной целью исследования была оценка разницы в общем количестве баллов между двумя группами, которая оценивалась с помощью разработанных экспертами оценочных шкал. Второстепенные результаты, изученные в ходе исследования, включали показатели по конкретным областям, продолжительность ответов и время, затраченное на каждый случай.
Для обеспечения надежности три независимых оценщика проанализировали ответы, и процент совпадений составил 82%. Врачи участвовали в исследовании удаленно или лично, и у них было до одного часа на то, чтобы решить как можно больше задач.
Исследование показало, что пользователи GPT-4 лучше справлялись с принятием управленческих решений, диагностическими рассуждениями и решениями, зависящими от контекста. Однако такие аспекты, как запоминание фактов и общие знания, не показали существенных различий между двумя группами.