Software-ul de chat al OpenAI, ChatGPT, dacă va fi lansat în lume, ar avea un punctaj între B și B- la examenul de management operațional al școlii de afaceri Wharton și ar aborda sau depăși scorul necesar pentru a promova examenul de licență medicală din SUA (USMLE).
Deși acest lucru poate spune mai multe despre natura statică, centrată pe documente a materialului de testare decât despre priceperea intelectuală a software-ului, este totuși o chestiune de îngrijorare și interes pentru educatori și pentru toți ceilalți care trăiesc în era automatizării.
Academicienii s-au îngrijorat de faptul că sistemele de asistență le plac Chat GPT și GitHub Co-pilot (bazat pe un model OpenAI numit Codex) va solicita profesorilor să reevalueze modul în care predau și notează examenele, deoarece tehnologia de asistență bazată pe învățarea automată a devenit atât de capabilă.
În mediile educaționale, sfaturile AI devin obișnuite: doar The Stanford Daily raportate, „un număr mare de studenți au folosit deja ChatGPT la examenele lor finale.” Se estimează că 17 la sută dintre studenți, pe baza unui sondaj anonim de 4,497 de respondenți, au spus că au folosit ChatGPT pentru a ajuta la teme și examene din trimestrul de toamnă, 5 la sută spunând că au trimis material direct de la ChatGPT cu puțină sau deloc editare - ceea ce este probabil o încălcare a codului de onoare.
Separat, Christian Terwiesch, profesor la Școala Wharton a Universității din Pennsylvania și un grup de cercetători medicali afiliați în mare parte la Ansible Health, au decis să pună ChatGPT, un fără îndoială amoral consilier automatizat şi contestată în fapt sistem expert, la încercare.
Atât Terwiesch, cât și Ansible Health boffins au precizat că ChatGPT are limitări și greșește lucrurile. În general, i-au dat note medii, dar au precizat clar că se așteaptă ca sistemele de asistență AI să își găsească un loc în predare și în alte sectoare.
La urma urmei, modelul a fost instruit pe nenumărate piese de scris realizate de om și, prin urmare, capacitatea sa de a ghici un răspuns satisfăcător la o întrebare din toate cunoștințele și factoizi inhalați nu este neașteptată.
„În primul rând, face o treabă uimitoare la întrebările de bază privind managementul operațiunilor și analiza proceselor, inclusiv cele care se bazează pe studii de caz”, a spus Terwiesch în hârtia lui. „Nu numai că răspunsurile sunt corecte, dar explicațiile sunt excelente.”
Acestea fiind spuse, el a observat că ChatGPT face greșeli simple de matematică și găsește întrebări avansate de analiză a proceselor. Cu toate acestea, modelul AI răspunde la sugestiile oamenilor despre cum să se îmbunătățească - se poate corecta cu succes atunci când i se oferă sugestii de la un expert uman.
Îndrumarea umană a servit, de asemenea, ca sursă de input rău intenționat, după cum a demonstrat Chatbot-ul Tay de la Microsoft și de cercetări ulterioare.
Doctore, doctore
Grupul de cercetare medicală care a scris „Performanța ChatGPT pe USMLE: potențial pentru educație medicală asistată de inteligență artificială folosind modele lingvistice mari” include „ChatGPT” ca co-autor.
„ChatGPT a contribuit la scrierea mai multor secțiuni ale acestui manuscris”, spun autorii biologici în lucrarea lor.
Alte afilieri organizationale ale autorilor includ: Massachusetts General Hospital, Harvard School of Medicine, in Boston, Mass; Warren Alpert Medical School, Universitatea Brown, din Providence, Rhode Island; și Departamentul de Educație Medicală de la UWorld, LLC, o firmă de e-learning în domeniul sănătății cu sediul în Dallas, Texas.
Autorii – Tiffany Kung, Morgan Cheatham, ChatGPT, Arielle Medenilla, Czarina Sillos, Lorie De Leon, Camille Elepaño, Maria Madriaga, Rimel Aggabao, Giezel Diaz-Candido, James Maningo și Victor Tseng – au ajuns la o concluzie similară cu Terwiesch-ul lui Wharton. . Mai exact, ei au descoperit că ChatGPT a avut rezultate acceptabile – peste pragul variabil de trecere de aproximativ 60 la sută – la examenul USMLE, dacă i s-a oferit beneficiul răspunsurilor nedeterminate. Și se așteaptă ca modelele mari de limbaj (LLM) să joace un rol tot mai mare în educația medicală și în luarea deciziilor clinice.
„ChatGPT oferă o acuratețe moderată apropiindu-se de performanța de trecere pe USMLE”, spun autorii în lucrarea lor. „Elementele de examen au fost mai întâi codificate ca întrebări deschise cu solicitări variabile de introducere. Acest format de intrare simulează un model de interogare naturală a utilizatorului. Cu răspunsurile nedeterminate cenzurate/incluse, acuratețea ChatGPT pentru pașii 1, 2CK și 3 USMLE a fost de 68.0%/42.9%, 58.3%/51.4% și, respectiv, 62.4%/55.7%.”
Descrierea performanței ChatGPT ca „se apropie de trecere” este o modalitate generoasă de a o formula, în special cu AI-ului care i se acordă credit pentru răspunsuri nedeterminate. Sosirea în cabinetul unui medic și vedea o diplomă care face publicitatea unei note D ar putea provoca un pic mai multă îngrijorare în rândul pacienților.
Dar cercetătorii susțin că lucrurile pe care le-a făcut ChatGPT s-au conformat îndeaproape cu răspunsurile acceptate și că modelul AI s-a îmbunătățit remarcabil, cu câteva luni în urmă a atins o rată de succes de numai aproximativ 36.7 la sută.
Interesant, ei au observat că ChatGPT a avut performanțe mai bune decât PubMedGPT, un LLM bazat exclusiv pe date biomedicale care a gestionat o acuratețe de doar aproximativ 50.8 la sută (pe baza datelor nepublicate).
„Speculăm că pregătirea specifică domeniului poate să fi creat o ambivalență mai mare în modelul PubMedGPT, deoarece absoarbe text din lumea reală din discursul academic în curs, care tinde să fie neconcludent, contradictoriu sau extrem de conservator sau lipsit de angajare în limbajul său”, spun autorii. .
În esență, materialul mai puțin științific, mai obișnuit, care a intrat în formarea ChatGPT, cum ar fi pamfletele cu explicația bolii adresate pacientului, pare să fi făcut ChatGPT mai obișnuit.
„Pe măsură ce IA devine din ce în ce mai competentă, va deveni în curând omniprezentă, transformând medicina clinică în toate sectoarele de asistență medicală”, concluzionează autorii, adăugând că clinicienii asociați cu AnsibleHealth au folosit ChatGPT în fluxurile lor de lucru și au raportat o reducere de 33% a timpului. necesare pentru a finaliza documentația și sarcinile indirecte de îngrijire a pacientului.
Aceasta explică probabil decizia Microsoft pentru a canaliza miliarde în OpenAI pentru viitorul său software.
Utilitatea ChatGPT într-un cadru educațional – în ciuda faptului că este adesea greșit – a fost subliniată într-un blog publicat duminică de Thomas Rid, profesor de studii strategice și director fondator al Institutului Alperovich pentru Studii de Securitate Cibernetică.
Rid descrie un curs recent de cinci zile de analiză a programelor malware și inginerie inversă susținut de Juan Andres Guerrero-Saade.
„Cinci zile mai târziu nu mai aveam nicio îndoială: acest lucru va transforma învățământul superior”, a spus Rid. „Am fost unul dintre studenți. Și am fost uimit de ceea ce învățarea automată a putut face pentru noi, în timp real. Și spun asta ca cineva care a fost un împietrit sceptic de hype-ul inteligenței artificiale de mulți ani. Rețineți că nu am spus transformare „probabilă”. Va transforma învățământul superior.”
Guerrero-Saade, în un fir de Twitter, recunoaște că ChatGPT a greșit lucrurile, dar insistă că instrumentul a ajutat studenții să vină cu răspunsuri mai bune. El sugerează că funcționează ca un asistent personal de predare pentru fiecare student.
„Feria de frică în jurul inteligenței artificiale (sau așteptările nemaipomenite de rezultate perfecte) întunecă recunoașterea acestui utilitar uimitor LLM: ca asistent capabil să combine rapid informații (corect sau greșit) cu o relevanță extremă pentru o inteligență mai exigentă (utilizatorul) cu care să lucreze, ” el a scris.
Rid susține că, în timp ce preocupările legate de AI ca mecanism de plagiat și înșelăciune în educație trebuie abordate, conversația mai importantă are de-a face cu modul în care instrumentele AI pot îmbunătăți rezultatele educaționale. ®
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
- Sursa: https://go.theregister.com/feed/www.theregister.com/2023/01/24/chatgpt_exam_study/
- 1
- 7
- 9
- a
- capacitate
- Capabil
- Despre Noi
- mai sus
- academic
- precizie
- realizat
- peste
- avansat
- Promovare
- sfat
- consilier
- Afiliat
- afilieri
- După
- AI
- TOATE
- deja
- uimitor
- Amazon
- printre
- analiză
- și
- Anonim
- răspunde
- răspunsuri
- abordare
- se apropie
- susține
- în jurul
- sosesc
- artificial
- inteligență artificială
- ajuta
- Asistent
- asociate
- Autorii
- Automata
- Automatizare
- bazat
- de bază
- deoarece
- deveni
- devine
- devenire
- fiind
- beneficia
- Mai bine
- între
- miliarde
- biomedicale
- Pic
- boston
- Brown University
- afaceri
- Școala de Afaceri
- denumit
- capabil
- pasă
- caz
- Studii De Caz
- Chat GPT
- înşelăciune
- clar
- clinic
- clinicienii
- îndeaproape
- Cloud
- Coautor
- cod
- cum
- Completă
- Îngrijorare
- preocupările
- încheia
- concluzie
- conservator
- Contribuit
- Conversație
- înscrie-te la cursul
- a creat
- credit
- Securitate cibernetică
- zilnic
- Dallas
- de date
- Zi
- hotărât
- decizie
- Luarea deciziilor
- demonstrat
- Departament
- În ciuda
- FĂCUT
- direct
- Director
- Boală
- documentaţie
- îndoială
- E-Learning
- fiecare
- Mai devreme
- Educaţie
- de învăţământ
- educatori
- Inginerie
- estimativ
- Eter (ETH)
- toată lumea
- examen
- depăși
- excelent
- aștepta
- aşteptări
- expert
- explică
- explicație
- extremă
- Cădea
- final
- Găsi
- Firmă
- First
- format
- găsit
- fondator
- Gratuit
- din
- funcții
- viitor
- General
- generos
- obține
- GitHub
- dat
- calitate
- mai mare
- grup
- În creştere
- harvard
- având în
- Sănătate
- de asistență medicală
- a ajutat
- superior
- Educatie inalta
- extrem de
- sugestii
- Spital
- Cum
- Cum Pentru a
- Totuși
- HTTPS
- uman
- hype
- important
- îmbunătăţi
- îmbunătățit
- in
- În altele
- include
- include
- Inclusiv
- tot mai mult
- informații
- intrare
- Institut
- intelectual
- Inteligență
- interes
- insulă
- IT
- articole
- în sine
- Loc de munca
- cunoştinţe
- limbă
- mare
- învăţare
- de licențiere
- Probabil
- limitări
- mic
- viaţă
- LLC
- mai lung
- maşină
- masina de învățare
- făcut
- menține
- FACE
- Efectuarea
- malware
- gestionate
- administrare
- multe
- marca
- Masa
- Massachusetts
- material
- matematica
- materie
- mecanism
- medical
- cercetare medicala
- medicină
- Microsoft
- ar putea
- greşeli
- model
- Modele
- luni
- mai mult
- Morgan
- Natural
- Natură
- Nevoie
- necesar
- număr
- Birou
- ONE
- în curs de desfășurare
- OpenAI
- Operațiuni
- înfumurat
- de organizare
- Altele
- global
- Hârtie
- în special
- Care trece
- pacient
- îngrijirea pacientului
- pacientes
- Model
- Pennsylvania
- oameni
- la sută
- Perfect
- performanță
- poate
- personal
- medic
- piese
- Loc
- Plato
- Informații despre date Platon
- PlatoData
- Joaca
- sondaj
- potenţial
- proces
- Profesor
- bravură
- publicat
- pune
- Trimestru
- întrebare
- Întrebări
- repede
- rată
- real
- lumea reală
- în timp real
- recent
- recunoaştere
- relevanţa
- Raportat
- necesita
- necesar
- cercetare
- grup de cercetare
- cercetători
- sensibil
- inversa
- Scăpa
- Rol
- Said
- Şcoală
- secțiuni
- sectoare
- vedere
- instalare
- setări
- câteva
- asemănător
- simplu
- So
- Software
- Curând
- Sursă
- specific
- stanford
- Stat
- paşi
- Strategic
- student
- Elevi
- studiu
- prezentat
- succes
- Reușit
- sugerează
- sistem
- sisteme
- Tratative
- sarcini
- profesori
- Predarea
- Tehnologia
- test
- Testarea
- Texas
- lumea
- lor
- lucru
- lucruri
- prag
- Prin
- Tiffany
- timp
- la
- instrument
- Unelte
- dresat
- Pregătire
- Transforma
- transformare
- stare de nervozitate
- omniprezent
- Neașteptat
- universitate
- Universitatea din Pennsylvania
- us
- Utilizator
- utilitate
- ÎNCĂLCARE
- crescătorie de iepuri de casă
- Wharton
- Ce
- care
- în timp ce
- OMS
- voi
- Apartamente
- fluxuri de lucru
- lume
- ar
- scris
- Greșit
- ani
- randamentele
- zephyrnet