Лікарі попередили, що ChatGPT не склав іспити Американського коледжу гастроентерології та не здатний генерувати точну медичну інформацію для пацієнтів.
A study led by physicians at the Feinstein Institutes for Medical Research tested both variants of ChatGPT – powered by OpenAI's older GPT-3.5 model and the latest GPT-4 system. The academic team copy and pasted the multiple choice questions taken from the 2021 and 2022 American College of Gastroenterology (ACG) Self-Assessment Tests into the bot, and analyzed the software's responses.
Цікаво, що менш просунута версія на основі GPT-3.5 дала правильні відповіді на 65.1 відсотка з 455 запитань, а більш потужна GPT-4 набрала 62.4 відсотка. Як це сталося, важко пояснити, оскільки OpenAI зберігає таємницю щодо того, як він навчає свої моделі. Його прес-секретарі сказали нам, принаймні, обидві моделі були навчені на основі даних, датованих вереснем 2021 року.
У будь-якому випадку, жоден результат не був достатньо добрим, щоб досягти 70-відсоткового порогу для складання іспитів.
Арвінд Тріндаде, доцент Інституту медичних досліджень Фейнштейна та старший автор дослідження опублікований в Американський журнал гастроентерології, Повідомив Реєстр.
"Although the score is not far away from passing or obtaining a 70 percent, I would argue that for medical advice or medical education, the score should be over 95."
"I don't think a patient would be comfortable with a doctor that only knows 70 percent of his or her medical field. If we demand this high standard for our doctors, we should demand this high standard from medical chatbots," he added.
Американський коледж гастроентерології готує лікарів, і його тести використовуються як практика для офіційних іспитів. Щоб стати сертифікованим гастроентерологом, лікарі повинні пройти гастроентерологічний іспит Американської ради внутрішньої медицини. Для цього потрібні знання та навчання, а не лише інтуїція.
ChatGPT generates responses by predicting the next word in a given sentence. AI learns common patterns in its training data to figure out what word should go next, and is partially effective at recalling information. Although the technology has improved rapidly, it's not perfect and is often prone to hallucinating false facts – especially if it's being quizzed on niche subjects that may not be present in its training data.
"ChatGPT's basic function is to predict the next word in a string of text to produce an expected response based on available information, regardless of whether such a response is factually correct or not. It does not have any intrinsic understanding of a topic or issue," the paper explains.
Trindade told us that it's possible that the gastroenterology-related information on webpages used to train the software is not accurate, and that the best resources like medical journals or databases should be used.
Однак ці ресурси не є легкодоступними та можуть бути заблоковані за платними екранами. У цьому випадку ChatGPT може бути недостатньо підданий експертним знанням.
"The results are only applicable to ChatGPT – other chatbots need to be validated. The crux of the issue is where these chatbots are obtaining the information. In its current form ChatGPT should not be used for medical advice or medical education," Trindade concluded. ®
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoAiStream. Web3 Data Intelligence. Розширення знань. Доступ тут.
- Карбування майбутнього з Адріенн Ешлі. Доступ тут.
- Купуйте та продавайте акції компаній, які вийшли на IPO, за допомогою PREIPO®. Доступ тут.
- джерело: https://go.theregister.com/feed/www.theregister.com/2023/05/24/chatgpt_gastroenterology_exams/
- : має
- :є
- : ні
- :де
- $UP
- 1
- 2021
- 2022
- 70
- a
- МЕНЮ
- академічний
- точний
- доданий
- просунутий
- рада
- AI
- хоча
- американська
- an
- та
- будь-який
- застосовно
- ЕСТЬ
- сперечатися
- AS
- Юрист
- At
- автор
- доступний
- геть
- заснований
- основний
- BE
- ставати
- було
- за
- буття
- КРАЩЕ
- рада
- Бот
- обидва
- by
- CAN
- здатний
- випадок
- chatbots
- ChatGPT
- вибір
- CO
- коледж
- зручний
- загальний
- уклали
- виправити
- міг
- Поточний
- дані
- базами даних
- датований
- Попит
- Лікар
- Лікарі
- робить
- Дон
- Освіта
- Ефективний
- досить
- особливо
- Ефір (ETH)
- очікуваний
- експерт
- Пояснювати
- Пояснює
- піддаватися
- Факти
- не вдалося
- false
- далеко
- поле
- Рисунок
- для
- форма
- від
- функція
- генерує
- породжує
- даний
- Go
- добре
- сталося
- Жорсткий
- Мати
- he
- її
- Високий
- його
- Як
- Однак
- HTTPS
- i
- if
- поліпшений
- in
- інформація
- внутрішній
- в
- сутнісний
- питання
- IT
- ЙОГО
- журнал
- JPG
- просто
- знання
- останній
- найменш
- Led
- менше
- як
- замкнений
- Може..
- медичний
- медичне дослідження
- медицина
- модель
- Моделі
- більше
- множинний
- Необхідність
- ні
- наступний
- отримання
- of
- офіційний
- часто
- on
- тільки
- OpenAI
- or
- Інше
- наші
- з
- над
- Папір
- проходити
- Проходження
- пацієнт
- pacientes
- моделі
- відсотків
- ідеальний
- plato
- Інформація про дані Платона
- PlatoData
- це можливо
- Харчування
- потужний
- практика
- передбачати
- прогнозування
- представити
- виробляти
- Професор
- питань
- швидко
- досягати
- останній
- Незалежно
- дослідження
- ресурси
- відповідь
- відповіді
- результат
- результати
- s
- рахунок
- старший
- пропозиція
- Вересень
- Повинен
- Софтвер
- standard
- рядок
- Вивчення
- такі
- система
- прийняті
- приймає
- команда
- Технологія
- Тести
- Що
- Команда
- інформація
- Ці
- думати
- це
- поріг
- до
- тема
- поїзд
- навчений
- Навчання
- поїзда
- розуміння
- us
- використовуваний
- підтверджено
- версія
- було
- шлях..
- we
- були
- Що
- Чи
- в той час як
- з
- слово
- б
- зефірнет