Искусственный интеллект быстро отвечает на медицинские вопросы, но может галлюцинировать, пропускать важные сведения и давать опасные рекомендации. Перед обращением к чат-боту стоит спросить себя, насколько необходим такой совет, на чем он основан и кто проверит полученную информацию.

Искусственный интеллект все увереннее выступает в роли виртуального врача. Люди обращаются к нему, чтобы узнать возможные причины симптомов, разобраться в результатах анализов, понять назначение лекарств или решить, нужно ли им идти в клинику. Однако ИИ не несет ответственности за сгенерированные ответы, а его ошибки уже неоднократно становились причиной потенциально опасных рекомендаций.

Недавно в штате Юта запустили пилотный проект, в рамках которого система должна подбирать лечение акне и выписывать рецепт без одобрения врача. Для этого используются анкета и скан лица. При этом алгоритм работает по заранее подготовленным схемам и назначает препараты, одобренные специалистами: он не придумывает терапию самостоятельно и не выбирает лекарства полностью без ограничений. Поэтому проект остается под медицинским контролем, хотя сам подход все равно заставляет задуматься о том, готовы ли пациенты доверить подбор лечения подобной системе.

Но что произойдет, если ИИ будет постоянно давать медицинские советы без контроля квалифицированного персонала? В некотором смысле это уже происходит. Главные преимущества чат-ботов очевидны: они доступны практически в любое время, отвечают быстро и не требуют ожидания приема.

Согласно исследованию Pew Research Center, 36% американцев получают информацию о здоровье из социальных сетей, а 22% — от искусственного интеллекта. Чаще всего люди хотят быстро узнать сведения о заболевании, понять причины симптомов или получить рекомендации по лечению. Среди других мотивов — отсутствие денег на медицинские услуги, желание лучше разобраться в диагнозе врача или результатах анализов, обсуждение неловкой темы и попытка понять, нужна ли вообще консультация специалиста.

47% участников опроса назвали полученную от ИИ информацию очень полезной, еще 48% — достаточно полезной. Лишь 5% сочли ее бесполезной. Кроме того, 29% респондентов заявили, что им было бы очень комфортно делиться с ИИ чувствительными сведениями о здоровье, а 42% — скорее комфортно. Только 26% придерживались противоположного мнения.

Чаще всего люди спрашивают ИИ о возможном заболевании у себя или близких, действии и дозировке лекарств и добавок, интерпретации результатов анализов, а также о том, что можно сделать самостоятельно до визита к врачу. Кроме того, пользователей интересуют течение болезни, прогнозы и осложнения, питание, похудение и психическое здоровье. Есть и практические вопросы: где получить направление, как записаться на прием, как работает страховка, какого врача, клинику или больницу выбрать.

Причины обращения к ИИ могут быть разными — от высокой стоимости медицинской помощи и отсутствия страховки до длительного ожидания приема у специалиста. На фоне переполненных клиник и сложностей с записью чат-бот выглядит удобной альтернативой: он находится под рукой, отвечает почти мгновенно и может подстроить тон общения под запрос пользователя. Но удобство не означает надежность, особенно когда речь идет о здоровье.

Ошибочный диагноз или совет способны угрожать жизни. Несколько лет назад широко обсуждались случаи, когда ИИ рекомендовал пользователям съесть камни, добавить клей в пиццу или прыгнуть с моста при подавленном настроении. Проверить все эти сообщения сложно: предполагалось, что алгоритмы могли использовать сатирические публикации или насмешливые посты с интернет-форумов.

Известны и более серьезные случаи, когда искусственный интеллект, по сообщениям, поддерживал несовершеннолетних в суицидальных мыслях или сообщал им способы самоубийства. По меньшей мере две подобные ситуации завершились трагически, после чего родители погибших подали иски к компаниям, разрабатывающим ИИ.

В исследовании «Сравнение ответов человеческих терапевтов и чат-ботов на базе больших языковых моделей для оценки терапевтической коммуникации» специалисты установили, что чат-боты плохо реагировали на сообщения о суицидальных мыслях. Они давали общие ответы и не направляли пользователей в службы или организации, где те могли бы получить необходимую помощь.

Это крайние примеры, однако даже менее драматичные ошибки могут иметь последствия. В работе «Большие языковые модели дают небезопасные ответы на медицинские вопросы пациентов», опубликованной в Nature, описаны ошибки четырех популярных чат-ботов. Системы пропускали важные сведения о безопасности, без достаточных оснований уверяли пользователей в безобидности симптомов, не учитывая историю болезни, и давали опасные рекомендации — например, советовали младенцам пить воду.

Ошибки встречаются не только в чат-ботах. Расследование The Guardian показало, что медицинские сведения в автоматически созданных поисковых сводках также могут быть неточными и потенциально вредными.

В идеале ИИ, имеющий доступ к огромному объему научных публикаций, должен корректно указывать источники своих ответов. Однако исследование «Большие языковые модели дают небезопасные ответы на медицинские вопросы пациентов» показало, что при запросе на перечисление источников системы справлялись с этой задачей правильно лишь в 40% случаев. Ни один из чат-ботов не составил ни одного полностью корректного списка.

Ошибки включали неправильные имена авторов, неработающие ссылки и полностью вымышленные научные статьи. При этом обнаружить проблему можно только самостоятельно проверив приведенные источники, а сам факт наличия ссылок способен создать ложное впечатление надежности.

Точность ИИ также сильно зависит от исходных данных. В исследовании «Производительность больших языковых моделей и задачи клинического рассуждения», опубликованном в JAMA Network Open, ведущие модели получали лишь базовую информацию о пациентах и в 80% случаев неправильно подбирали диагноз. После добавления результатов обследований и предварительного анализа точность предложенных диагнозов превышала 90%.

Другая работа — «Надежность больших языковых моделей как медицинских помощников для широкой публики: рандомизированное предварительно зарегистрированное исследование» — показала разрыв между возможностями системы в тестовых условиях и реальным использованием. Во время экспериментов чат-боты самостоятельно давали правильный медицинский ответ или диагноз почти в 95% случаев. Когда с ними взаимодействовали обычные пользователи, правильный ответ появлялся менее чем в 35% случаев.

Дополнительный риск связан с так называемыми галлюцинациями — выдумыванием фактов. В исследовании «Мультимодельный анализ надежности: большие языковые модели крайне уязвимы к состязательным галлюцинациям при поддержке клинических решений» ИИ демонстрировал такое поведение в 50–83% случаев, упоминая несуществующие лабораторные исследования или заболевания.

Алгоритмы могут воспроизводить и человеческие предубеждения. В работе «Качество, безопасность и неравенство в работе чат-бота на базе ИИ при лечении хронических заболеваний: эксперименты с симулированными пациентами» сообщается, что во время эксперимента система предлагала более заботливый подход пожилым и более обеспеченным людям, в частности рекомендовала им пройти больше обследований.

Ограничения ИИ видны и в простых практических ситуациях. Во время эксперимента с фотографией кожи животного чат-бот должен был оценить участок грудной клетки, где животное вылизало шерсть. Система предположила, что причиной могут быть раздражение кожи, царапина или аллергия, но ошибочно заявила, будто покраснение находится под ухом или за ухом кошки.

После замечания пользователя чат-бот ответил: «Вы правы — это шея, а не ухо. Спасибо за исправление». Затем он добавил к списку возможных причин еще три варианта. Источники при этом не привел. Также система предложила сделать еще две фотографии — общий снимок с большего расстояния и четкое изображение самого поражения, чтобы определить, на что оно больше всего похоже и требует ли ситуация срочного обращения к врачу.

Проблема не только в том, что алгоритм перепутал шею с ухом. Чат-бот говорил уверенно и не сделал очевидного вывода о необходимости консультации ветеринара, хотя несколькими фразами ранее неправильно определил область тела. Пользователь заранее не собирался полагаться на ответ и обратился к ИИ уже после визита к специалисту, но в реальной ситуации такая уверенность может подтолкнуть человека к отказу от профессиональной помощи.

Полностью отказаться от искусственного интеллекта в повседневной жизни вряд ли возможно: его уже внедряют в популярные приложения и поисковые системы. Однако подход к использованию технологии можно изменить. Прежде чем спрашивать чат-бота, стоит подумать, нельзя ли самостоятельно найти ответ или обратиться к близким, особенно если вопрос не требует специальных знаний.

Если помощь ИИ все же нужна, полезно задать ему три вопроса. Во-первых, действительно ли без него нельзя обойтись и экономит ли он время, а не просто позволяет переложить задачу на алгоритм? Во-вторых, на чем основан ответ и какие источники использовала система? В-третьих, кто проверит полученную информацию, особенно если она касается здоровья или другого потенциально опасного вопроса?

Источники необходимо проверять, а важные сведения — сопоставлять с надежными материалами и обсуждать с квалифицированными специалистами. Врачи лучше знакомы с историей лечения пациента и именно они должны объяснять, как принимать лекарства и нужно ли менять их дозировку.

ИИ может быть удобным инструментом, но он не отвечает за здоровье пользователя и последствия совета, который был сгенерирован за несколько секунд.