OpenAI vestlustarkvara ChatGPT, kui see maailmas lahti lastakse, saavutaks Whartoni ärikooli operatsioonide juhtimise eksami B- ja B-punktide vahel ning läheneks või ületaks USA meditsiinilitsentsi eksami (USMLE) sooritamiseks vajaliku punktisumma.
Kuigi see võib öelda rohkem testimismaterjali staatilise, dokumendikeskse olemuse kui tarkvara intellektuaalse võime kohta, valmistab see siiski muret ja huvi nii õpetajate kui ka peaaegu kõigi teiste automatiseerimise ajastul elavate inimeste jaoks.
Akadeemikud on muretsenud, et abisüsteemid meeldivad ChatGPT ja GitHubis Copilot (põhineb OpenAI mudelil Codex) nõuab õpetajatelt õpetamisviiside ümberhindamist ja eksamite hindamist, sest masinõppel põhinev abitehnoloogia on muutunud nii võimekaks.
Haridusasutustes on AI nõuanded muutumas igapäevaseks: Stanford Daily just teatatud, "suur hulk õpilasi on juba kasutanud ChatGPT-d oma lõpueksamitel." 17 vastajaga anonüümse küsitluse põhjal ütles hinnanguliselt 4,497 protsenti õpilastest, et nad on kasutanud ChatGPT-d sügisveerandi ülesannete ja eksamite tegemisel, kusjuures 5 protsenti vastas, et nad on esitanud materjali otse ChatGPT-st vähese redigeerimisega või ilma selleta – mis on arvatavasti aukoodeksi rikkumine.
Eraldi otsustasid Pennsylvania ülikooli Whartoni kooli professor Christian Terwiesch ja rühm meditsiiniteadlasi, kes olid enamasti seotud Ansible Healthiga, panna ChatGPT, ja vaieldamatult amoraalne automatiseeritud nõustaja ja faktiliselt vaidlustatud ekspertsüsteem, testida.
Nii Terwiesch kui ka Ansible Health boffinid tegid selgeks, et ChatGPT-l on piirangud ja see ajab asjad valesti. Üldiselt andsid nad sellele keskmised hinded, kuid nad tegid selgeks, et nad ootavad, et tehisintellekti abisüsteemid leiavad koha õppetöös ja muudes sektorites.
Mudelit on lõppude lõpuks koolitatud lugematul hulgal inimeste loodud kirjutisi ja seega pole tema võime arvata rahuldav vastus küsimusele kõigi nende sissehingatud teadmiste ja faktide põhjal ootamatu.
"Esiteks teeb see hämmastavat tööd põhiliste operatsioonide juhtimise ja protsesside analüüsi küsimustes, sealhulgas nendes, mis põhinevad juhtumiuuringutel," ütles Terwiesch tema paber. "Vastused pole mitte ainult õiged, vaid ka selgitused on suurepärased."
Sellegipoolest täheldas ta, et ChatGPT teeb lihtsaid matemaatilisi vigu ja kobab täpsemaid protsessianalüüsi küsimusi. Kuid tehisintellekti mudel reageerib inimeste vihjetele, kuidas parandada – see suudab end edukalt parandada, kui inimeksperdi vihjeid annab.
Inimjuhised on olnud ka pahatahtliku sisendi allikaks, nagu on näidanud Microsofti Tay vestlusbot ja hilisemad uuringud.
Arst, arst
Meditsiiniline uurimisrühm, kes kirjutas "ChatGPT toimivus USMLE-s: tehisintellekti abiga meditsiinihariduse potentsiaal, kasutades suuri keelemudeleid” sisaldab kaasautorina „ChatGPT”.
"ChatGPT aitas kaasa selle käsikirja mitme osa kirjutamisele," väidavad bioloogilised autorid oma artiklis.
Muude autorite organisatsiooniliste seoste hulka kuuluvad: Massachusettsi üldhaigla, Harvardi meditsiinikool, Boston, Massachusetts; Warren Alperti meditsiinikool, Browni ülikool, Providence, Rhode Island; ja Texase osariigis Dallases asuva tervise e-õppe ettevõtte UWorld, LLC meditsiinihariduse osakond.
Autorid – Tiffany Kung, Morgan Cheatham, ChatGPT, Arielle Medenilla, Czarina Sillos, Lorie De Leon, Camille Elepaño, Maria Madriaga, Rimel Aggabao, Giezel Diaz-Candido, James Maningo ja Victor Tseng – jõudsid sarnasele järeldusele nagu Whartoni Terwiesch . Täpsemalt leidsid nad, et ChatGPT toimis USMLE eksamil rahuldavalt – ületades muutuva läbimise läve (umbes 60 protsenti), kui anda eeliseks määramata vastused. Ja nad eeldavad, et suured keelemudelid (LLM) mängivad meditsiinihariduses ja kliiniliste otsuste tegemisel kasvavat rolli.
"ChatGPT annab mõõduka täpsuse, mis läheneb USMLE-s mööduvale jõudlusele," väidavad autorid oma artiklis. „Eksamielemendid kodeeriti esmalt avatud küsimustena koos muutuvate sissejuhatavate viipadega. See sisendvorming simuleerib tasuta loomulikku kasutajapäringu mustrit. Kui määramata vastused olid tsenseeritud/kaasatud, oli ChatGPT täpsus USMLE sammude 1, 2CK ja 3 puhul vastavalt 68.0 protsenti/42.9 protsenti, 58.3 protsenti/51.4 protsenti ja 62.4 protsenti/55.7 protsenti.
ChatGPT jõudluse kirjeldamine kui "lähenemas möödumisele" on helde viis seda sõnastada, eriti kui tehisintellekti tunnustatakse määramatute vastuste eest. Arsti kabinetti jõudmine ja D-hinnet reklaamiva diplomi nägemine võib tekitada patsientides pisut suuremat muret.
Kuid teadlased väidavad, et asjad, mis ChatGPT õigesti läksid, olid täpselt kooskõlas aktsepteeritud vastustega ja et tehisintellekti mudel on märkimisväärselt paranenud, kuna kuude eest saavutas edukuse määra vaid umbes 36.7 protsenti.
Huvitaval kombel täheldasid nad, et ChatGPT toimis paremini kui PubMedGPT, ainult biomeditsiinilistel andmetel põhinev LLM, mille täpsus oli vaid umbes 50.8 protsenti (avaldamata andmete põhjal).
"Me oletame, et domeenispetsiifiline koolitus võis PubMedGPT mudelis tekitada suuremat ambivalentsust, kuna see neelab reaalset teksti käimasolevast akadeemilisest diskursusest, mis kipub olema oma keeles ebaselge, vastuoluline või väga konservatiivne või mittekohustav," väidavad autorid. .
Põhimõtteliselt näib, et ChatGPT koolitusel kasutatud vähem teaduslik ja rohkem arvamust avaldav materjal, nagu patsiendile suunatud haigusi selgitavad brošüürid, on muutnud ChatGPT arvamust avaldavamaks.
"Kuna tehisintellekt muutub üha oskuslikumaks, muutub see peagi üldlevinud, muutes kliinilist meditsiini kõigis tervishoiusektorites," järeldavad autorid, lisades, et AnsibleHealthiga seotud arstid on kasutanud oma töövoogudes ChatGPT-d ja on teatanud, et aeg on vähenenud 33 protsenti. vajalik dokumentatsiooni ja kaudsete patsiendihooldustööde tegemiseks.
See võib-olla seletab Microsofti otsust et suunata miljardeid OpenAI-sse oma tulevase tarkvara jaoks.
Vaatamata asjaolule, et see on sageli vale, rõhutati ChatGPT kasulikkust hariduskeskkonnas. blogi postitus avaldas pühapäeval Thomas Rid, strateegiliste uuringute professor ja Alperovitši küberturvalisuse uuringute instituudi asutaja.
Rid kirjeldab hiljutist viiepäevast pahavara analüüsi ja pöördtehnoloogia kursust, mida õpetas Juan Andres Guerrero-Saade.
"Viis päeva hiljem ei kahelnud ma enam: see asi muudab kõrgharidust," ütles Rid. «Olin üks õpilastest. Ja ma olin rabatud sellest, mida masinõpe meie jaoks reaalajas teha suutis. Ja ma ütlen seda kui keegi, kes oli olnud paadunud skeptik tehisintellekti hüppega juba aastaid. Pange tähele, et ma ei öelnud "tõenäoline" teisendus. See muudab kõrgharidust.
Guerrero-Saade, sisse Twitteri lõime, tunnistab, et ChatGPT tegi asjad valesti, kuid rõhutab, et tööriist aitas õpilastel paremaid vastuseid leida. Ta soovitab, et see toimiks iga õpilase isikliku abistajana.
„Teisintellektiga hirmutamine (või suured ootused täiuslikele väljunditele) varjutavad selle LLM-i hämmastava utiliidi äratundmise: abistajana, kes suudab kiiresti ühendada (õige või vale) teabe, mis on äärmiselt asjakohane, et töötada nõudlikuma intelligentsiga (kasutaja), ” kirjutas ta.
Rid väidab, et kuigi muret tehisintellekti kui hariduses kasutatava plagiaadi ja petmise mehhanismi pärast tuleb käsitleda, on olulisem vestlus seotud sellega, kuidas tehisintellekti tööriistad saavad haridustulemusi parandada. ®
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://go.theregister.com/feed/www.theregister.com/2023/01/24/chatgpt_exam_study/
- 1
- 7
- 9
- a
- võime
- Võimalik
- MEIST
- üle
- akadeemiline
- täpsus
- saavutada
- üle
- edasijõudnud
- reklaam
- nõuanne
- nõuandja
- Liitunud
- kuuluvusest
- pärast
- AI
- Materjal: BPA ja flataatide vaba plastik
- juba
- hämmastav
- Amazon
- vahel
- analüüs
- ja
- anonüümne
- vastus
- vastuseid
- lähenemine
- läheneb
- Väidab
- ümber
- saabuvad
- kunstlik
- tehisintellekti
- abistama
- assistent
- seotud
- autorid
- Automatiseeritud
- Automaatika
- põhineb
- põhiline
- sest
- muutuma
- muutub
- saada
- on
- kasu
- Parem
- vahel
- miljardeid
- biomeditsiiniline
- Natuke
- boston
- Browni Ülikool
- äri
- Ärikool
- kutsutud
- võimeline
- mis
- juhul
- Case Studies
- ChatGPT
- petmine
- selge
- kliiniline
- arstid
- lähedalt
- Cloud
- Kaasautor
- kood
- Tulema
- täitma
- Murettekitav
- Murettekitav
- lõpetama
- järeldus
- konservatiivne
- Aitas
- Vestlus
- kursus
- loodud
- krediit
- Küberturvalisus
- iga päev
- Dallas
- andmed
- Päeva
- otsustatud
- otsus
- Otsuse tegemine
- Näidatud
- osakond
- Vaatamata
- DID
- otse
- Juhataja
- haigus
- dokumentatsioon
- kahtlen
- E-õppe
- iga
- Ajalugu
- Käsitöö
- haridus-
- kasvatajad
- Inseneriteadus
- Hinnanguliselt
- Eeter (ETH)
- igaüks
- eksam
- ületama
- suurepärane
- ootama
- ootused
- ekspert
- Selgitab
- selgitus
- äärmuslik
- Langema
- lõplik
- leidma
- Firma
- esimene
- formaat
- avastatud
- Asutaja
- tasuta
- Alates
- funktsioonid
- tulevik
- Üldine
- helde
- saama
- GitHub
- antud
- klass
- suurem
- Grupp
- Kasvavad
- Harvardi
- võttes
- Tervis
- tervishoid
- aitas
- rohkem
- Kõrgharidus
- kõrgelt
- vihjed
- Haigla
- Kuidas
- Kuidas
- aga
- HTTPS
- inim-
- hype
- oluline
- parandama
- paranenud
- in
- Teistes
- sisaldama
- hõlmab
- Kaasa arvatud
- üha rohkem
- info
- sisend
- Instituut
- intellektuaalne
- Intelligentsus
- huvi
- saar
- IT
- kirjed
- ise
- töö
- teadmised
- keel
- suur
- õppimine
- litsentsimine
- Tõenäoliselt
- piirangud
- vähe
- elu-
- OÜ
- enam
- masin
- masinõpe
- tehtud
- säilitada
- TEEB
- Tegemine
- malware
- juhitud
- juhtimine
- palju
- märk
- Mass
- Massachusetts
- materjal
- matemaatika
- küsimus
- mehhanism
- meditsiini-
- meditsiinilised uuringud
- meditsiin
- Microsoft
- võib
- vigu
- mudel
- mudelid
- kuu
- rohkem
- Morgan
- Natural
- loodus
- Vajadus
- vaja
- number
- Office
- ONE
- jätkuv
- OpenAI
- Operations
- Arvamus
- organisatsiooniline
- Muu
- üldine
- Paber
- eriti
- Mööduv
- patsient
- patsiendi hooldus
- patsientidel
- Muster
- Pennsylvania
- Inimesed
- protsent
- täiuslik
- jõudlus
- ehk
- isiklik
- arst
- tükki
- Koht
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängima
- küsitlus
- potentsiaal
- protsess
- Õpetaja
- osavus
- avaldatud
- panema
- Kvartal
- küsimus
- Küsimused
- kiiresti
- määr
- reaalne
- päris maailm
- reaalajas
- hiljuti
- tunnustamine
- asjakohasus
- Teatatud
- nõudma
- nõutav
- teadustöö
- uurimisrühm
- Teadlased
- tundlik
- tagasikäik
- Rid
- Roll
- Ütlesin
- Kool
- lõigud
- Sektorid
- nägemine
- kehtestamine
- seaded
- mitu
- sarnane
- lihtne
- So
- tarkvara
- Varsti
- allikas
- eriti
- Stanford
- riik
- Sammud
- Strateegiline
- õpilane
- Õpilased
- uuringud
- esitatud
- edu
- Edukalt
- Soovitab
- süsteem
- süsteemid
- Läbirääkimised
- ülesanded
- õpetajad
- õpetamine
- Tehnoloogia
- test
- Testimine
- texas
- .
- maailm
- oma
- asi
- asjad
- künnis
- Läbi
- gaasriie
- aeg
- et
- tööriist
- töövahendid
- koolitatud
- koolitus
- Muutma
- transformeerivate
- puperdama
- kõikjal
- Ootamatu
- Ülikool
- University of Pennsylvania
- us
- Kasutaja
- kasulikkus
- RIKKUMINE
- küülikute koloonia
- wharton
- M
- mis
- kuigi
- WHO
- will
- Töö
- Töövoogud
- maailm
- oleks
- kirjutamine
- Vale
- aastat
- saagikus
- sephyrnet