Исследование показывает, что чат-боты на базе ИИ еще не готовы заменить врачей

Чат-боты на базе искусственного интеллекта все чаще продвигаются как будущее здравоохранения, некоторые системы показывают хорошие результаты на стандартизированных медицинских экзаменах и предлагают советы на основе симптомов пользователям. Однако новое исследование, опубликованное в журнале Nature Medicine, показывает, что эти инструменты не только далеки от замены врачей, но и могут представлять опасность при использовании для личных медицинских рекомендаций.

Исследование, проведённое командами Оксфордского университета, выявило значительный разрыв в возможностях больших языковых моделей (LLMs). Хотя системы демонстрируют хорошие технические знания и успешно справляются со структурированными медицинскими оценками, им трудно помочь пользователям с реальными проблемами здоровья. По словам исследователей, перевод теоретических знаний в безопасные и практичные медицинские советы остаётся серьёзной задачей.

Доктор Ребекка Пейн, ведущий медицинский специалист, участвовавший в исследовании, заявила, что несмотря на растущий энтузиазм вокруг ИИ в здравоохранении, технология ещё не готова брать на себя обязанности врача. Она предупредила, что полагаться на большие языковые модели при анализе симптомов опасно, поскольку они могут дать неправильный диагноз или не распознать ситуации, требующие срочной медицинской помощи.

Масштабное тестирование выявило ключевые слабые места

В исследовании приняли участие 1300 человек, использовавших модели ИИ, разработанные OpenAI, Meta и Cohere. Участникам были представлены медицинские сценарии, созданные врачами, и их просили указать, какие шаги следует предпринять для решения описанных проблем.

Исследователи обнаружили, что советы, генерируемые ИИ, не были более надёжными, чем традиционные методы самодиагностики, такие как поиск в интернете или личное суждение. Во многих случаях пользователи получали смесь точных и вводящих в заблуждение рекомендаций, что затрудняло определение дальнейших действий. Ещё одной проблемой стала коммуникация: участники часто не понимали, какую информацию ИИ требуется для генерации точных рекомендаций.

Доктор Пейн подчеркнула, что медицинская диагностика включает не только воспроизведение фактов. Она объяснила, что эффективное лечение требует внимательного слушания, задавания уточняющих вопросов, поиска релевантных симптомов и ведения динамической беседы с пациентом. Часто пациенты не знают, какие детали имеют медицинское значение, поэтому врачи должны активно извлекать важную информацию. В исследовании было сделано вывод, что текущие LLM ещё не способны надёжно управлять этим сложным взаимодействием с непрофессионалами.

Поддерживающая роль, а не клиническая

Хотя исследователи предостерегают от использования чат-ботов на базе ИИ в качестве медицинских советников, они не отвергают технологию полностью. Вместо этого они считают, что ИИ может играть вспомогательную роль в здравоохранении. Доктор Пейн отметила, что LLM особенно полезны для суммирования и организации информации. В клинических условиях их уже используют для транскрипции консультаций и преобразования их в направления к специалистам, информационные листы для пациентов или медицинские записи.

Команда пришла к выводу, что хотя у ИИ есть потенциал в медицине, в настоящее время он не готов предоставлять прямые медицинские рекомендации. Они считают, что необходимы усовершенствованные системы оценки и стандарты безопасности, прежде чем такие системы смогут ответственно выполнять роли, ориентированные на пациентов. Их цель — не отвергнуть ИИ в медицине, а развивать его так, чтобы приоритетом оставалась безопасность пациентов и клиническая точность.