ChatGPT ni mogel opraviti gastroenteroloških izpitov v ZDA

Ponovno objavil Platon

Spremljevalci: 0

ChatGPT ni opravil izpitov American College of Gastroenterology in ni sposoben ustvariti natančnih zdravstvenih informacij za bolnike, so opozorili zdravniki.

Študija, ki so jo vodili zdravniki na Inštitutih za medicinske raziskave Feinstein, je testirala obe različici ChatGPT – ki sta jo poganjala starejši model OpenAI GPT-3.5 in najnovejši sistem GPT-4. Akademska ekipa je kopirala in prilepila vprašanja z več možnimi odgovori, vzeta iz testov samoocenjevanja Ameriške fakultete za gastroenterologijo (ACG) iz let 2021 in 2022, v bot ter analizirala odgovore programske opreme.

Zanimivo je, da je manj napredna različica, ki temelji na GPT-3.5, pravilno odgovorila na 65.1 odstotka od 455 vprašanj, medtem ko je močnejša GPT-4 dosegla 62.4 odstotka. Težko je razložiti, kako se je to zgodilo, saj je OpenAI skrivnosten glede načina, kako usposablja svoje modele. Njeni tiskovni predstavniki so nam vsaj povedali, da sta bila oba modela usposobljena na podlagi podatkov, ki so datirani šele septembra 2021.

Vsekakor noben rezultat ni bil dovolj dober, da bi dosegel 70-odstotni prag za opravljanje izpitov.

Arvind Trindade, izredni profesor na Inštitutu za medicinske raziskave Feinstein in višji avtor študije objavljeno v American Journal of Gastroenterology, povedal Register.

"Čeprav rezultat ni daleč od prehoda ali pridobitve 70 odstotkov, trdim, da bi moral biti rezultat za zdravniški nasvet ali medicinsko izobraževanje višji od 95."

"Mislim, da se pacientu ne bi zdelo prijetno z zdravnikom, ki pozna samo 70 odstotkov njegovega zdravstvenega področja. Če zahtevamo ta visok standard za naše zdravnike, bi morali ta visok standard zahtevati tudi od zdravstvenih chatbotov," je dodal.

Ameriški kolidž za gastroenterologijo usposablja zdravnike, njegovi testi pa se uporabljajo kot praksa pri uradnih izpitih. Da bi zdravniki postali gastroenterolog s certifikatom, morajo opraviti gastroenterološki izpit Ameriškega odbora za interno medicino. To zahteva znanje in študij – ne le občutek.

ChatGPT ustvari odgovore s predvidevanjem naslednje besede v danem stavku. Umetna inteligenca se v svojih podatkih o usposabljanju nauči pogostih vzorcev, da ugotovi, katera beseda naj gre naslednja, in je delno učinkovita pri priklicu informacij. Čeprav se je tehnologija hitro izboljšala, ni popolna in je pogosto nagnjena k halucinacijam lažnih dejstev – še posebej, če se sprašuje o nišnih temah, ki morda niso prisotne v podatkih o usposabljanju.

"Osnovna funkcija ChatGPT je napovedati naslednjo besedo v nizu besedila, da proizvede pričakovan odgovor na podlagi razpoložljivih informacij, ne glede na to, ali je tak odgovor dejansko pravilen ali ne. Nima nobenega notranjega razumevanja teme ali vprašanja, « pojasnjuje časopis.

Trindade nam je povedal, da je možno, da informacije, povezane z gastroenterologijo, na spletnih straneh, ki se uporabljajo za usposabljanje programske opreme, niso točne, in da je treba uporabiti najboljše vire, kot so medicinske revije ali baze podatkov.

Ti viri pa niso na voljo in jih je mogoče zakleniti za plačilnimi zidovi. V tem primeru ChatGPT morda ni bil dovolj izpostavljen strokovnemu znanju.

"Rezultati veljajo samo za ChatGPT – druge chatbote je treba potrditi. Bistvo vprašanja je, kje ti chatboti pridobivajo informacije. V svoji trenutni obliki ChatGPT ne bi smeli uporabljati za zdravniško svetovanje ali medicinsko izobraževanje," je zaključil Trindade. ®