Το ChatGPT δεν μπόρεσε να περάσει τις εξετάσεις γαστρεντερολογίας των ΗΠΑ

Αναδημοσίευση από τον Πλάτωνα

Ακολουθούν: 0

Το ChatGPT απέτυχε να περάσει τις εξετάσεις του Αμερικανικού Κολλεγίου Γαστρεντερολογίας και δεν είναι σε θέση να παράγει ακριβείς ιατρικές πληροφορίες για τους ασθενείς, προειδοποίησαν οι γιατροί.

Μια μελέτη με επικεφαλής γιατρούς στα Ινστιτούτα Ιατρικής Έρευνας Feinstein εξέτασε και τις δύο παραλλαγές του ChatGPT – που υποστηρίζονται από το παλαιότερο μοντέλο GPT-3.5 του OpenAI και το πιο πρόσφατο σύστημα GPT-4. Η ακαδημαϊκή ομάδα αντέγραψε και επικόλλησε τις ερωτήσεις πολλαπλής επιλογής που ελήφθησαν από τα τεστ αυτοαξιολόγησης του Αμερικανικού Κολλεγίου Γαστρεντερολογίας (ACG) 2021 και 2022 στο bot και ανέλυσε τις απαντήσεις του λογισμικού.

Είναι ενδιαφέρον ότι η λιγότερο προηγμένη έκδοση που βασίζεται στο GPT-3.5 απάντησε σωστά στο 65.1 τοις εκατό από τις 455 ερωτήσεις, ενώ το πιο ισχυρό GPT-4 σημείωσε 62.4 τοις εκατό. Το πώς συνέβη αυτό είναι δύσκολο να εξηγηθεί, καθώς το OpenAI είναι μυστικοπαθές σχετικά με τον τρόπο που εκπαιδεύει τα μοντέλα του. Οι εκπρόσωποί της μας είπαν, τουλάχιστον, και τα δύο μοντέλα εκπαιδεύτηκαν σε δεδομένα που χρονολογούνται από τον Σεπτέμβριο του 2021.

Σε κάθε περίπτωση, κανένα αποτέλεσμα δεν ήταν αρκετά καλό για να φτάσει το όριο του 70 τοις εκατό για να περάσει τις εξετάσεις.

Arvind Trindade, αναπληρωτής καθηγητής στο The Feinstein Institutes for Medical Research και ανώτερος συγγραφέας της μελέτης δημοσιεύθηκε στο American Journal of Gastroenterology, είπε στους Το μητρώο.

«Αν και η βαθμολογία δεν απέχει πολύ από το να περάσει ή να πάρει το 70 τοις εκατό, θα υποστήριζα ότι για ιατρική συμβουλή ή ιατρική εκπαίδευση, η βαθμολογία πρέπει να είναι πάνω από 95».

"Δεν νομίζω ότι ένας ασθενής θα ήταν άνετος με έναν γιατρό που γνωρίζει μόνο το 70 τοις εκατό του ιατρικού του πεδίου. Εάν απαιτούμε αυτό το υψηλό επίπεδο για τους γιατρούς μας, θα πρέπει να απαιτήσουμε αυτό το υψηλό επίπεδο από τα ιατρικά chatbots", πρόσθεσε.

Το Αμερικανικό Κολλέγιο Γαστρεντερολογίας εκπαιδεύει γιατρούς και οι εξετάσεις του χρησιμοποιούνται ως πρακτική για επίσημες εξετάσεις. Για να γίνουν πιστοποιημένοι γαστρεντερολόγοι, οι γιατροί πρέπει να περάσουν την εξέταση της Αμερικανικής Επιτροπής Εσωτερικής Ιατρικής Γαστρεντερολογίας. Αυτό απαιτεί γνώση και μελέτη – όχι μόνο αίσθηση εντέρου.

Το ChatGPT δημιουργεί απαντήσεις προβλέποντας την επόμενη λέξη σε μια δεδομένη πρόταση. Η τεχνητή νοημοσύνη μαθαίνει κοινά μοτίβα στα δεδομένα εκπαίδευσής της για να καταλάβει ποια λέξη πρέπει να ακολουθήσει και είναι εν μέρει αποτελεσματική στην ανάκληση πληροφοριών. Παρόλο που η τεχνολογία έχει βελτιωθεί γρήγορα, δεν είναι τέλεια και είναι συχνά επιρρεπής σε ψευδαισθήσεις - ειδικά αν τίθεται σε κουίζ για εξειδικευμένα θέματα που μπορεί να μην υπάρχουν στα δεδομένα εκπαίδευσης.

"Η βασική λειτουργία του ChatGPT είναι να προβλέπει την επόμενη λέξη σε μια συμβολοσειρά κειμένου για να παράγει μια αναμενόμενη απάντηση με βάση τις διαθέσιμες πληροφορίες, ανεξάρτητα από το αν μια τέτοια απάντηση είναι πραγματικά σωστή ή όχι. Δεν έχει καμία εγγενή κατανόηση ενός θέματος ή ενός ζητήματος, " εξηγεί η εφημερίδα.

Ο Trindade μας είπε ότι είναι πιθανό οι πληροφορίες που σχετίζονται με τη γαστρεντερολογία στις ιστοσελίδες που χρησιμοποιούνται για την εκπαίδευση του λογισμικού να μην είναι ακριβείς και ότι θα πρέπει να χρησιμοποιούνται οι καλύτεροι πόροι, όπως ιατρικά περιοδικά ή βάσεις δεδομένων.

Αυτοί οι πόροι, ωστόσο, δεν είναι άμεσα διαθέσιμοι και μπορούν να κλειδωθούν πίσω από τα paywalls. Σε αυτήν την περίπτωση, το ChatGPT ενδέχεται να μην έχει εκτεθεί επαρκώς στις γνώσεις των ειδικών.

"Τα αποτελέσματα ισχύουν μόνο για το ChatGPT – άλλα chatbots πρέπει να επικυρωθούν. Η ουσία του ζητήματος είναι που αυτά τα chatbots λαμβάνουν τις πληροφορίες. Στην τρέχουσα μορφή του, το ChatGPT δεν πρέπει να χρησιμοποιείται για ιατρικές συμβουλές ή ιατρική εκπαίδευση", κατέληξε ο Trindade. ®