ChatGPT ei suutnud USA gastroenteroloogiaeksameid sooritada

Taasavaldanud Platon

järgijaid: 0

Arstid hoiatasid, et ChatGPT ei ole läbinud American College of Gastroenterology eksameid ega suuda patsientidele täpset meditsiinilist teavet genereerida.

Feinsteini meditsiiniuuringute instituutide arstide juhitud uuringus testiti mõlemat ChatGPT varianti – toiteallikaks OpenAI vanem GPT-3.5 mudel ja uusim GPT-4 süsteem. Akadeemiline meeskond kopeeris ja kleepis robotisse 2021. ja 2022. aasta American College of Gastroenterology (ACG) enesehinnangutestidest võetud valikvastustega küsimused ning analüüsis tarkvara vastuseid.

Huvitav on see, et GPT-3.5-l põhinev vähem arenenud versioon vastas 65.1 küsimusest õigesti 455 protsendile, võimsam GPT-4 aga 62.4 protsenti. Kuidas see juhtus, on raske seletada, kuna OpenAI on oma mudelite koolitamise osas salajane. Selle pressiesindajad ütlesid meile, et vähemalt mõlemad mudelid olid koolitatud andmete põhjal, mis pärinevad 2021. aasta septembrist.

Igatahes ei olnud kumbki tulemus piisavalt hea, et jõuda eksamite sooritamiseks 70 protsendini.

Arvind Trindade, Feinsteini meditsiiniuuringute instituutide dotsent ja uuringu vanemautor avaldatud aasta American Journal of Gastroenterology, rääkis Register.

"Kuigi skoor ei ole kaugel 70 protsendi läbimisest või saamisest, väidan, et meditsiinilise nõustamise või meditsiinilise hariduse saamiseks peaks skoor olema üle 95."

"Ma ei usu, et patsient tunneks end mugavalt arstiga, kes tunneb ainult 70 protsenti oma meditsiinivaldkonnast. Kui me nõuame seda kõrget standardit oma arstidelt, siis peaksime seda kõrget standardit nõudma ka meditsiinilistelt vestlusrobotidelt," lisas ta.

American College of Gastroenterology koolitab arste ja selle teste kasutatakse ametlike eksamite praktikana. Et saada sertifitseeritud gastroenteroloogiks, peavad arstid läbima Ameerika sisehaiguste nõukogu gastroenteroloogia eksami. See nõuab teadmisi ja õppimist – mitte ainult kõhutunnet.

ChatGPT loob vastused, ennustades etteantud lauses järgmist sõna. AI õpib oma treeningandmetes levinud mustreid, et välja selgitada, milline sõna peaks järgmiseks minema, ja on teabe meeldejätmisel osaliselt tõhus. Kuigi tehnoloogia on kiiresti arenenud, ei ole see täiuslik ja on sageli kalduvus hallutsineerima valefakte – eriti kui seda küsitletakse nišiteemadel, mida selle koolitusandmetes ei pruugi olla.

"ChatGPT põhifunktsioon on ennustada tekstistringis järgmist sõna, et saada olemasoleva teabe põhjal oodatud vastus, olenemata sellest, kas selline vastus on faktiliselt õige või mitte. Sellel puudub sisuline arusaam teemast või probleemist, "selgitab leht.

Trindade ütles meile, et on võimalik, et tarkvara koolitamiseks kasutatud veebilehtede gastroenteroloogiaga seotud teave ei ole täpne ja kasutada tuleks parimaid ressursse, nagu meditsiiniajakirju või andmebaase.

Need ressursid pole aga hõlpsasti kättesaadavad ja neid saab lukustada tasuliste müüride taha. Sel juhul ei pruugi ChatGPT ekspertteadmistega piisavalt kokku puutuda.

"Tulemused kehtivad ainult ChatGPT-le – teised vestlusrobotid tuleb kinnitada. Probleemi tuum on see, kust need vestlusrobotid teavet hangivad. Praegusel kujul ei tohiks ChatGPT-d kasutada meditsiinilise nõustamise ega meditsiinilise koolituse jaoks," lõpetas Trindade. ®