Programska oprema za klepet OpenAI ChatGPT bi, če bi jo spustili v svet, dosegla oceno med B in B- na izpitu Operations Management poslovne šole Wharton in bi se približala ali presegla rezultat, ki je potreben za opravljanje izpita US Medical Licensing Exam (USMLE).
Čeprav to morda pove več o statični, na dokumente osredotočeni naravi testnega materiala kot o intelektualni zmogljivosti programske opreme, je vseeno stvar zaskrbljenosti in zanimanja za učitelje in skoraj vse ostale, ki živijo v dobi avtomatizacije.
Akademiki so se obremenjevali, da so podporni sistemi všeč ChatGPT in GitHub Kopilot (temelji na modelu OpenAI, imenovanem Codex), bo od učiteljev zahteval, da ponovno ocenijo, kako poučujejo in ocenjujejo izpite, ker je podporna tehnologija, ki temelji na strojnem učenju, postala tako zmogljiva.
V izobraževalnih okoljih nasveti o umetni inteligenci postajajo običajni: Stanford Daily pravkar poročali, "je veliko študentov že uporabljalo ChatGPT na svojih zaključnih izpitih." Ocenjuje se, da je 17 odstotkov študentov na podlagi anonimne ankete, v kateri je sodelovalo 4,497 anketirancev, povedalo, da so uporabili ChatGPT za pomoč pri jesenskih četrtletnih nalogah in izpitih, pri čemer jih je 5 odstotkov reklo, da so oddali gradivo neposredno iz ChatGPT z malo ali brez urejanja – kar je domnevno kršitev častnega kodeksa.
Poleg tega so se Christian Terwiesch, profesor na šoli Wharton na Univerzi v Pennsylvaniji, in skupina medicinskih raziskovalcev, ki so večinoma povezani z Ansible Health, odločili postaviti ChatGPT, nedvomno amoralni avtomatizirani svetovalec in dejansko izpodbijano ekspertni sistem, na test.
Tako Terwiesch kot Ansible Health boffins sta jasno povedala, da ima ChatGPT omejitve in da stvari naredi narobe. Na splošno so mu dali srednje ocene, vendar so jasno povedali, da pričakujejo, da bodo podporni sistemi AI našli mesto pri poučevanju in v drugih sektorjih.
Model je bil navsezadnje uren na neštetih delih pisanja, ki ga je ustvaril človek, zato njegova sposobnost, da ugiba o zadovoljivem odgovoru na vprašanje iz vsega tega vdihnjenega znanja in dejstev, ni nepričakovana.
»Prvič, odlično opravlja svoje delo pri vprašanjih o osnovnem upravljanju operacij in analizi procesov, vključno s tistimi, ki temeljijo na študijah primerov,« je dejal Terwiesch v njegov članek. "Ne samo, da so odgovori pravilni, tudi razlage so odlične."
Kljub temu je opazil, da ChatGPT dela preproste matematične napake in zapleta vprašanja napredne analize procesov. Vendar se model umetne inteligence odziva na namige ljudi o tem, kako se izboljšati – lahko se uspešno popravi, ko prejme namige človeškega strokovnjaka.
Človeško vodenje je služilo tudi kot vir zlonamernih vnosov, kot je dokazano z Microsoftov klepetalni robot Tay in nadaljnje raziskave.
Doktor, doktor
Medicinska raziskovalna skupina, ki je napisala "Učinkovitost ChatGPT na USMLE: potencial za medicinsko izobraževanje s pomočjo umetne inteligence z uporabo velikih jezikovnih modelov” vključuje “ChatGPT” kot soavtorja.
"ChatGPT je prispeval k pisanju več delov tega rokopisa," biološki avtorji navajajo v svojem prispevku.
Druge organizacijske povezave avtorjev vključujejo: Splošno bolnišnico Massachusetts, Medicinsko fakulteto Harvard, v Bostonu, Massachusetts; Medicinska šola Warren Alpert, Univerza Brown, v Providenceu, Rhode Island; in Oddelek za medicinsko izobraževanje pri UWorld, LLC, podjetju za zdravstveno e-učenje s sedežem v Dallasu v Teksasu.
Avtorji – Tiffany Kung, Morgan Cheatham, ChatGPT, Arielle Medenilla, Czarina Sillos, Lorie De Leon, Camille Elepaño, Maria Madriaga, Rimel Aggabao, Giezel Diaz-Candido, James Maningo in Victor Tseng – so prišli do podobnega zaključka kot Whartonov Terwiesch . Natančneje, ugotovili so, da je ChatGPT opravil sprejemljivo – nad spremenljivim pragom uspešnosti približno 60 odstotkov – na izpitu USMLE, če so imeli prednost nedoločeni odgovori. In pričakujejo, da bodo imeli veliki jezikovni modeli (LLM) vedno večjo vlogo v medicinskem izobraževanju in kliničnem odločanju.
"ChatGPT prinaša zmerno natančnost, ki se približuje prehodni uspešnosti na USMLE," navajajo avtorji v svojem prispevku. »Izpitne postavke so bile najprej kodirane kot odprta vprašanja s spremenljivimi uvodnimi pozivi. Ta oblika vnosa simulira brezplačen naravni uporabniški vzorec poizvedbe. S cenzuriranimi/vključenimi nedoločenimi odgovori je bila natančnost ChatGPT za korake 1, 2CK in 3 USMLE 68.0 odstotka/42.9 odstotka, 58.3 odstotka/51.4 odstotka oziroma 62.4 odstotka/55.7 odstotka.”
Opisovanje uspešnosti ChatGPT kot "približuje se mimo" je velikodušen način izraza, zlasti z AI, ki je dobil zasluge za nedoločene odgovore. Prihod v zdravniško ordinacijo in ogled diplome, ki oglašuje oceno D, lahko pri pacientih povzroči nekoliko večjo zaskrbljenost.
Toda raziskovalci trdijo, da so stvari, ki jih je ChatGPT naredil pravilno, tesno skladne s sprejetimi odgovori in da se je model AI izjemno izboljšal, saj je mesece prej dosegel stopnjo uspešnosti le približno 36.7 odstotka.
Zanimivo je, da so opazili, da je ChatGPT deloval bolje kot PubMedGPT, LLM, ki temelji izključno na biomedicinskih podatkih in je dosegel natančnost le približno 50.8 odstotka (na podlagi neobjavljenih podatkov).
"Špekuliramo, da je usposabljanje, specifično za domeno, morda povzročilo večjo ambivalentnost v modelu PubMedGPT, saj absorbira besedilo iz resničnega sveta iz tekočega akademskega diskurza, ki je ponavadi nedokončen, protisloven ali zelo konzervativen ali neobvezujoč v svojem jeziku," navajajo avtorji. .
V bistvu se zdi, da je zaradi manj znanstvenega, bolj samozavestnega gradiva, ki je bilo vključeno v usposabljanje ChatGPT, kot so pamfleti z razlago bolezni za paciente, ChatGPT postal bolj samozavesten.
»Ker postaja umetna inteligenca vse bolj obvladana, bo kmalu postala vseprisotna in preoblikovala klinično medicino v vseh sektorjih zdravstvenega varstva,« zaključujejo avtorji in dodajajo, da zdravniki, povezani z AnsibleHealth, uporabljajo ChatGPT v svojih delovnih tokovih in poročajo o 33-odstotnem zmanjšanju časa. potrebno za dokončanje dokumentacije in posredne naloge oskrbe pacientov.
To morda pojasnjuje Microsoftovo odločitev usmeriti milijarde v OpenAI za svojo prihodnjo programsko opremo.
Uporabnost ChatGPT v izobraževalnem okolju – kljub dejstvu, da je pogosto napačna – je bila poudarjena v blog post objavil Thomas Rid, profesor strateških študij in ustanovitelj Inštituta Alperovich Institute for Cybersecurity Studies.
Rid opisuje nedavni petdnevni tečaj analize zlonamerne programske opreme in povratnega inženiringa, ki ga je poučeval Juan Andres Guerrero-Saade.
"Pet dni pozneje nisem imel več nobenega dvoma: ta stvar bo spremenila visoko šolstvo," je dejal Rid. »Bil sem eden od študentov. In bil sem navdušen nad tem, kaj je strojno učenje lahko naredilo za nas v realnem času. In to pravim kot nekdo, ki je bil prekaljen skeptik dolga leta navdušenja nad umetno inteligenco. Upoštevajte, da nisem rekel "verjetna" preobrazba. Preobrazil bo visokošolsko izobraževanje.«
Guerrero-Saade, v nit na Twitterju, priznava, da je ChatGPT naredil napako, vendar vztraja, da je orodje študentom pomagalo priti do boljših odgovorov. Predlaga, da deluje kot osebni asistent pri učenju za vsakega učenca.
»Razpihovanje strahu okoli umetne inteligence (ali prevelika pričakovanja popolnih rezultatov) zamegli prepoznavnost tega osupljivega uporabnega programa LLM: kot pomočnika, ki je sposoben hitro združiti informacije (pravilne ali napačne) z izjemno pomembnostjo za zahtevnejšo inteligenco (uporabnika), s katero lahko dela, ” on je pisal.
Rid trdi, da je treba obravnavati pomisleke glede umetne inteligence kot mehanizma za plagiatorstvo in goljufanje v izobraževanju, vendar je pomembnejši pogovor o tem, kako lahko orodja umetne inteligence izboljšajo izobraževalne rezultate. ®
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. Dostopite tukaj.
- vir: https://go.theregister.com/feed/www.theregister.com/2023/01/24/chatgpt_exam_study/
- 1
- 7
- 9
- a
- sposobnost
- Sposobna
- O meni
- nad
- akademsko
- natančnost
- doseže
- čez
- napredno
- Oglaševanje
- nasveti
- svetovalec
- Pridružen
- pripadnosti
- po
- AI
- vsi
- že
- Neverjetno
- Amazon
- med
- Analiza
- in
- anonimni
- odgovor
- odgovori
- pristop
- približuje se
- Trdi
- okoli
- prihod
- umetni
- Umetna inteligenca
- pomoč
- Pomočnik
- povezan
- Avtorji
- Avtomatizirano
- Avtomatizacija
- temeljijo
- Osnovni
- ker
- postanejo
- postane
- postajajo
- počutje
- koristi
- Boljše
- med
- milijardah
- biomedicina
- Bit
- maribor
- Brown University
- poslovni
- Poslovna šola
- se imenuje
- lahko
- ki
- primeru
- Primeri dobre prakse
- ChatGPT
- varanje
- jasno
- klinični
- kliniki
- tesno
- Cloud
- Soavtor
- Koda
- kako
- dokončanje
- Skrb
- Skrbi
- zaključuje
- Sklenitev
- konzervativni
- prispevali
- Pogovor
- Tečaj
- ustvaril
- kredit
- Cybersecurity
- vsak dan
- Dallas
- datum
- Dnevi
- odločil
- Odločitev
- Odločanje
- Dokazano
- Oddelek
- Kljub
- DID
- neposredno
- Direktor
- bolezen
- Dokumentacija
- dvomim
- E-izobraževanje
- vsak
- prej
- Izobraževanje
- izobraževalne
- vzgojitelji
- Inženiring
- ocenjeni
- Eter (ETH)
- vsi
- izpit
- presega
- odlično
- pričakovati
- pričakovanja
- strokovnjak
- Pojasni
- Razlaga
- ekstremna
- Padec
- končna
- Najdi
- Firm
- prva
- format
- je pokazala,
- Ustanovitelj
- brezplačno
- iz
- funkcije
- Prihodnost
- splošno
- radodaren
- dobili
- GitHub
- dana
- razred
- več
- skupina
- Pridelovanje
- harvard
- ob
- Zdravje
- zdravstveno varstvo
- pomagal
- več
- Višja izobrazba
- zelo
- nasveti
- Bolnišnica
- Kako
- Kako
- Vendar
- HTTPS
- človeškega
- hype
- Pomembno
- izboljšanje
- izboljšalo
- in
- V drugi
- vključujejo
- vključuje
- Vključno
- vedno
- Podatki
- vhod
- Inštitut
- intelektualne
- Intelligence
- obresti
- Otok
- IT
- Izdelkov
- sam
- Job
- znanje
- jezik
- velika
- učenje
- licenciranje
- Verjeten
- omejitve
- malo
- živi
- LLC
- več
- stroj
- strojno učenje
- je
- vzdrževati
- IZDELA
- Izdelava
- zlonamerna programska oprema
- upravlja
- upravljanje
- več
- znamka
- Masa
- Massachusetts
- Material
- math
- Matter
- Mehanizem
- medicinski
- medicinske raziskave
- zdravila
- Microsoft
- morda
- napake
- Model
- modeli
- mesecev
- več
- Morgan
- naravna
- Narava
- Nimate
- potrebna
- Številka
- Office
- ONE
- v teku
- OpenAI
- operacije
- Mnenja
- organizacijsko
- Ostalo
- Splošni
- Papir
- zlasti
- Podaje
- Bolnik
- skrb za bolnika
- bolniki
- Vzorec
- Pennsylvania
- ljudje
- odstotkov
- popolna
- performance
- mogoče
- Osebni
- zdravnik
- kosov
- Kraj
- platon
- Platonova podatkovna inteligenca
- PlatoData
- Predvajaj
- Anketa
- potencial
- Postopek
- Učitelj
- hrabrost
- objavljeno
- dal
- četrtletje
- vprašanje
- vprašanja
- hitro
- Oceniti
- pravo
- resnični svet
- v realnem času
- nedavno
- Priznanje
- ustreznost
- Prijavljeno
- zahteva
- obvezna
- Raziskave
- raziskovalne skupine
- raziskovalci
- odziven
- nazaj
- znebi
- vloga
- Je dejal
- <span style="color: #f7f7f7;">Šola</span>
- oddelki
- Sektorji
- videnje
- nastavitev
- nastavitve
- več
- Podoben
- Enostavno
- So
- Software
- Kmalu
- vir
- posebej
- Stanford
- Država
- Koraki
- Strateško
- študent
- Študenti
- Študije
- predložen
- uspeh
- Uspešno
- Predlaga
- sistem
- sistemi
- pogovori
- Naloge
- Učitelji
- poučevanje
- Tehnologija
- Test
- Testiranje
- texas
- O
- svet
- njihove
- stvar
- stvari
- Prag
- skozi
- Tiffany
- čas
- do
- orodje
- orodja
- usposobljeni
- usposabljanje
- Transform
- preoblikovanje
- povsod
- Nepričakovana
- univerza
- Univerza v Pensilvaniji
- us
- uporabnik
- pripomoček
- POVREDA
- Warren
- wharton
- Kaj
- ki
- medtem
- WHO
- bo
- delo
- delovnih tokov
- svet
- bi
- pisanje
- Napačen
- let
- donosov
- zefirnet