ChatGPT не смог сдать экзамены по гастроэнтерологии в США

ChatGPT не смог сдать экзамены по гастроэнтерологии в США

Отметка времени: 24 мая 2023 г., 3:29
Исходный узел: 2682739

ChatGPT не смог сдать экзамены Американского колледжа гастроэнтерологии и не способен генерировать точную медицинскую информацию для пациентов, предупреждают врачи.

В исследовании, проведенном врачами Института медицинских исследований Файнштейна, были протестированы оба варианта ChatGPT — на базе более старой модели OpenAI GPT-3.5 и новейшей системы GPT-4. Академическая группа скопировала и вставила в бота вопросы с несколькими вариантами ответов, взятые из тестов самооценки Американского колледжа гастроэнтерологии (ACG) 2021 и 2022 годов, и проанализировала ответы программного обеспечения.

Интересно, что менее продвинутая версия на основе GPT-3.5 правильно ответила на 65.1% из 455 вопросов, а более мощная GPT-4 набрала 62.4%. Как это произошло, трудно объяснить, поскольку OpenAI скрывает, как обучает свои модели. Его представители сообщили нам, по крайней мере, что обе модели были обучены на данных, датированных не позднее сентября 2021 года.

В любом случае, ни один из результатов не был достаточно хорош, чтобы достичь 70-процентного порога для сдачи экзаменов.

Арвинд Триндаде, доцент Института медицинских исследований Файнштейна и старший автор исследования. опубликованный в Американский журнал гастроэнтерологии, Сказал Регистр.

«Хотя оценка не далека от прохождения или получения 70 процентов, я бы сказал, что для медицинских консультаций или медицинского образования оценка должна быть выше 95».

«Я не думаю, что пациенту будет комфортно с врачом, который знает только 70 процентов своей медицинской области. Если мы требуем такого высокого стандарта для наших врачей, мы должны требовать этого высокого стандарта от медицинских чат-ботов», — добавил он.

Американский колледж гастроэнтерологии готовит врачей, и его тесты используются в качестве практики при сдаче официальных экзаменов. Чтобы стать сертифицированным гастроэнтерологом, врачи должны пройти обследование Американского совета по внутренним болезням и гастроэнтерологии. Это требует знаний и изучения, а не только интуиции.

ChatGPT генерирует ответы, предсказывая следующее слово в данном предложении. ИИ изучает общие закономерности в своих обучающих данных, чтобы выяснить, какое слово должно идти дальше, и частично эффективен при запоминании информации. Хотя технология быстро совершенствуется, она не идеальна и часто склонна к галлюцинациям ложных фактов, особенно если ее задают по нишевым темам, которые могут отсутствовать в ее обучающих данных.

«Основная функция ChatGPT — предсказать следующее слово в текстовой строке для получения ожидаемого ответа на основе доступной информации, независимо от того, является ли такой ответ фактически правильным или нет. У него нет какого-либо внутреннего понимания темы или проблемы. ", - поясняет газета.

Триндаде сообщил нам, что, возможно, информация, связанная с гастроэнтерологией, на веб-страницах, используемых для обучения программного обеспечения, неточна, и что следует использовать лучшие ресурсы, такие как медицинские журналы или базы данных. 

Однако эти ресурсы недоступны и могут быть заблокированы за платным доступом. В этом случае ChatGPT, возможно, не был достаточно подвержен экспертным знаниям.

«Результаты применимы только к ChatGPT — другие чат-боты должны быть проверены. Суть проблемы в том, откуда эти чат-боты получают информацию. В своей нынешней форме ChatGPT не должен использоваться для медицинских консультаций или медицинского образования», — заключил Триндаде. ®

Отметка времени:

Больше от Регистр