Jos OpenAI:n chat-ohjelmisto ChatGPT päästetään irti maailmasta, se saisi B- ja B-pisteet Whartonin kauppakorkeakoulun Operations Management -kokeen välillä ja lähestyisi tai ylittäisi USMLE:n (US Medical Licensing Exam) läpäisemiseen tarvittavan pistemäärän.
Vaikka tämä saattaa kertoa enemmän testausmateriaalin staattisuudesta, dokumenttikeskeisyydestä kuin ohjelmistojen älyllisestä kyvystä, se on kuitenkin huolenaihe ja kiinnostus opettajille ja lähes kaikille muille automaation aikakaudella eläville.
Akateemikot ovat huolissaan siitä, että apujärjestelmät pitävät ChatGPT ja GitHubista Lentoperämies (Perustuu OpenAI-malliin nimeltä Codex) vaatii opettajia arvioimaan uudelleen opetustapojaan ja arvostelemaan kokeita, koska koneoppimiseen perustuvasta avustavasta tekniikasta on tullut niin kykenevä.
Koulutusympäristöissä tekoälyn neuvoista on tulossa yleisiä: The Stanford Daily just raportoitu, "suuri määrä opiskelijoita on jo käyttänyt ChatGPT:tä loppukokeissaan." Arviolta 17 prosenttia opiskelijoista sanoi 4,497 5 vastaajan anonyymiin kyselyyn perustuen käyttäneensä ChatGPT:tä apuna syksyn vuosineljänneksen tehtävissä ja kokeissa, ja XNUMX prosenttia sanoi lähettäneensä materiaalia suoraan ChatGPT:stä ilman muokkausta tai vähän muokkausta – mikä oletettavasti on kunniakoodin rikkominen.
Erikseen Christian Terwiesch, Pennsylvanian yliopiston Wharton Schoolin professori ja ryhmä lääketieteen tutkijoita, jotka olivat enimmäkseen sidoksissa Ansible Healthiin, päättivät laittaa ChatGPT:n kiistatta amoraalinen automaattinen neuvonantaja ja tosiasiallisesti kyseenalaistettu asiantuntijajärjestelmä, testiin.
Sekä Terwiesch että Ansible Health boffin tekivät selväksi, että ChatGPT:llä on rajoituksia ja se saa asiat pieleen. Kaiken kaikkiaan he antoivat sille keskiarvosanat, mutta he tekivät selväksi, että he odottavat tekoälyä tukevien järjestelmien löytävän paikan opetuksessa ja muilla aloilla.
Malli on loppujen lopuksi koulutettu lukemattomiin ihmisen tekemiin kirjoituksiin, joten sen kyky arvata tyydyttävä vastaus kysymykseen kaikesta hengitetystä tiedosta ja faktoideista ei ole odottamaton.
"Ensinnäkin se tekee hämmästyttävää työtä perustoimintojen hallinnan ja prosessianalyysin kysymyksissä, mukaan lukien tapaustutkimuksiin perustuvat kysymykset", Terwiesch sanoi. hänen paperinsa. "Eivät ainoastaan vastaukset ole oikeita, vaan myös selitykset ovat erinomaisia."
Hän kuitenkin havaitsi, että ChatGPT tekee yksinkertaisia matemaattisia virheitä ja haparoi edistyneitä prosessianalyysikysymyksiä. Tekoälymalli reagoi kuitenkin ihmisten antamiin vihjeisiin parantamisen suhteen – se voi korjata itsensä onnistuneesti, kun se antaa ihmisasiantuntijan vihjeitä.
Ihmisten ohjaus on myös toiminut haitallisen syötteen lähteenä, kuten osoitti Microsoftin Tay-chatbot ja myöhempi tutkimus.
Lääkäri, lääkäri
Lääketieteellinen tutkimusryhmä, joka kirjoitti "ChatGPT:n suorituskyky USMLE:ssä: Mahdollisuus tekoälyavusteiseen lääketieteelliseen koulutukseen käyttämällä suuria kielimalleja" sisältää "ChatGPT" yhteistekijänä.
"ChatGPT osallistui useiden tämän käsikirjoituksen osien kirjoittamiseen", biologiset kirjoittajat toteavat artikkelissaan.
Kirjoittajien muita organisatorisia sidoksia ovat: Massachusetts General Hospital, Harvard School of Medicine, Boston, Mass; Warren Alpert Medical School, Brownin yliopisto, Providence, Rhode Island; ja lääketieteellisen koulutuksen osasto UWorld, LLC:ssä, terveydenhuollon verkko-oppimisyrityksessä Dallasissa, Texasissa.
Kirjoittajat – Tiffany Kung, Morgan Cheatham, ChatGPT, Arielle Medenilla, Czarina Sillos, Lorie De Leon, Camille Elepaño, Maria Madriaga, Rimel Aggabao, Giezel Diaz-Candido, James Maningo ja Victor Tseng – tulivat samanlaiseen johtopäätökseen kuin Whartonin Terwiesch. . Tarkemmin sanottuna he havaitsivat, että ChatGPT suoriutui kelvollisesti – noin 60 prosentin muuttuvan läpäisykynnyksen yläpuolella – USMLE-kokeessa, jos annettiin epämääräisten vastausten etu. Ja he odottavat, että suurilla kielimalleilla (LLM) on kasvava rooli lääketieteellisessä koulutuksessa ja kliinisessä päätöksenteossa.
"ChatGPT tuottaa kohtalaisen tarkkuuden, joka lähestyy ohimenevää suorituskykyä USMLE:ssä", kirjoittajat toteavat artikkelissaan. "Koekohteet koodattiin ensin avoimina kysymyksinä muuttuvilla aloituskehotteilla. Tämä syöttömuoto simuloi ilmaista luonnollista käyttäjän kyselymallia. Kun määrittelemättömät vastaukset oli sensuroitu/sisällytetty, ChatGPT-tarkkuus USMLE:n vaiheissa 1, 2CK ja 3 oli 68.0 prosenttia/42.9 prosenttia, 58.3 prosenttia/51.4 prosenttia ja 62.4 prosenttia/55.7 prosenttia.
ChatGPT:n suorituskyvyn kuvaaminen "lähestyväksi ohimenemiseksi" on antelias tapa ilmaista se, etenkin kun tekoälylle annetaan kunnia epämääräisistä vastauksista. Lääkärin vastaanotolle saapuminen ja D-arvosanan mainostavan tutkintotodistuksen näkeminen saattaa herättää potilaissa hieman enemmän huolta.
Mutta tutkijat väittävät, että asiat, jotka ChatGPT onnistui, olivat tiiviisti yhtäpitäviä hyväksyttyjen vastausten kanssa ja että tekoälymalli on parantunut huomattavasti, sillä kuukausia aiemmin onnistumisaste oli vain noin 36.7 prosenttia.
Mielenkiintoista on, että he havaitsivat, että ChatGPT suoriutui paremmin kuin PubMedGPT, yksinomaan biolääketieteellisiin tietoihin perustuva LLM, joka onnistui vain noin 50.8 prosentin tarkkuudella (julkaisemattomien tietojen perusteella).
"Arvelemme, että aluekohtainen koulutus on saattanut luoda enemmän ambivalenssia PubMedGPT-mallissa, koska se imee reaalimaailman tekstiä jatkuvasta akateemisesta diskurssista, joka on yleensä epäselvä, ristiriitainen tai erittäin konservatiivinen tai ei-sitova kielellään", kirjoittajat toteavat. .
Pohjimmiltaan ChatGPT:n koulutukseen mennyt vähemmän tieteellistä ja mielipiteitä sisältävää materiaalia, kuten potilaille suunnattuja sairausselityslehtisiä, näyttää tehneen ChatGPT:stä enemmän mielipidettä.
"Kun tekoäly tulee yhä taitavammaksi, siitä tulee pian kaikkialle leviävä, muuttaen kliinisen lääketieteen kaikilla terveydenhuollon aloilla", kirjoittajat päättelevät ja lisäävät, että AnsibleHealthiin liittyvät lääkärit ovat käyttäneet ChatGPT:tä työnkuluissaan ja ovat raportoineet ajan lyhentymisestä 33 prosenttia. tarvitaan dokumentoinnin ja epäsuorien potilaan hoitotehtävien suorittamiseen.
Tämä ehkä selittää Microsoftin päätöksen ohjata miljardeja OpenAI:han tulevaa ohjelmistoaan varten.
ChatGPT:n hyödyllisyys koulutusympäristössä – huolimatta siitä, että se on usein väärin – korostettiin blogi julkaisi sunnuntaina Thomas Rid, strategisten tutkimusten professori ja Alperovich Institute for Cybersecurity Studiesin perustajajohtaja.
Rid kuvailee Juan Andres Guerrero-Saaden äskettäistä viiden päivän haittaohjelmien analysointi- ja käänteissuunnittelukurssia.
"Viisi päivää myöhemmin minulla ei ollut enää epäilystäkään: tämä muuttaa korkeakoulutuksen", sanoi Rid. ”Olin yksi opiskelijoista. Ja olin hämmästynyt siitä, mitä koneoppiminen pystyi tekemään meille reaaliajassa. Ja sanon tämän sellaisena, joka on ollut paatunut skeptikko tekoälyhypeä useiden vuosien ajan. Huomaa, että en sanonut "todennäköistä" muutosta. Se muuttaa korkeakoulutusta."
Guerrero-Saade, sisään Twitter-säie, myöntää, että ChatGPT:llä meni asiat pieleen, mutta väittää, että työkalu auttoi oppilaita löytämään parempia vastauksia. Hän ehdottaa, että se toimii henkilökohtaisena opetusapulaisena jokaiselle opiskelijalle.
"Tekoälyn ympärillä tapahtuva pelko (tai ylisuuret odotukset täydellisistä tuloksista) hämärtää tämän LLM:n hämmästyttävän apuohjelman tunnistamisen: avustajana, joka pystyy nopeasti yhdistämään (oikeaa tai väärää) äärimmäisen tärkeää tietoa vaativamman älyn (käyttäjän) kanssa työskenneltäväksi. ” hän kirjoitti.
Rid väittää, että vaikka huolenaiheet tekoälystä koulutuksen plagioinnin ja huijaamisen mekanismina on otettava huomioon, tärkeämpi keskustelu liittyy siihen, kuinka tekoälytyökalut voivat parantaa koulutustuloksia. ®
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
- Lähde: https://go.theregister.com/feed/www.theregister.com/2023/01/24/chatgpt_exam_study/
- 1
- 7
- 9
- a
- kyky
- pystyy
- Meistä
- edellä
- akateeminen
- tarkkuus
- saavutettu
- poikki
- kehittynyt
- mainonta
- neuvot
- neuvonantaja
- Liittynyt
- kuuluminen
- Jälkeen
- AI
- Kaikki
- jo
- hämmästyttävä
- Amazon
- keskuudessa
- analyysi
- ja
- anonyymi
- vastaus
- vastauksia
- lähestymistapa
- lähestyy
- väittää
- noin
- saapuvat
- keinotekoinen
- tekoäly
- auttaa
- Avustaja
- liittyvä
- Tekijät
- Automatisoitu
- Automaatio
- perustua
- perustiedot
- koska
- tulevat
- tulee
- tulossa
- ovat
- hyödyttää
- Paremmin
- välillä
- miljardeja
- biolääketieteen
- Bitti
- boston
- Brown University
- liiketoiminta
- Kauppaoppilaitos
- nimeltään
- kykenee
- joka
- tapaus
- Asiakastapaukset
- ChatGPT
- huijaaminen
- selkeä
- Kliininen
- kliinikot
- tarkasti
- pilvi
- Yhteiskirjoittaja
- koodi
- Tulla
- täydellinen
- Koskea
- huolenaiheet
- päättelee
- johtopäätös
- konservatiivinen
- osaltaan
- Keskustelu
- kurssi
- luotu
- pisteitä
- tietoverkkojen
- päivittäin
- Dallas
- tiedot
- päivää
- päätti
- päätös
- Päätöksenteko
- osoittivat
- osasto
- Huolimatta
- DID
- suoraan
- Johtaja
- Sairaus
- dokumentointi
- Epäilen
- E-Learning
- kukin
- Aikaisemmin
- koulutus
- koulutus-
- kasvattajien
- Tekniikka
- arvioidaan
- Eetteri (ETH)
- jokainen
- tentti
- ylittää
- erinomainen
- odottaa
- odotukset
- asiantuntija
- selittää
- selitys
- äärimmäinen
- Pudota
- lopullinen
- Löytää
- Yritys
- Etunimi
- muoto
- löytyi
- perustaja
- Ilmainen
- alkaen
- tehtävät
- tulevaisuutta
- general
- antelias
- saada
- GitHub
- tietty
- luokka
- suurempi
- Ryhmä
- Kasvava
- Harvard
- ottaa
- terveys
- terveydenhuollon
- auttanut
- korkeampi
- Korkeampi koulutus
- erittäin
- vihjeitä
- Sairaala
- Miten
- Miten
- Kuitenkin
- HTTPS
- ihmisen
- mainostemppu
- tärkeä
- parantaa
- parani
- in
- Muilla
- sisältää
- sisältää
- Mukaan lukien
- yhä useammin
- tiedot
- panos
- Instituutti
- henkinen
- Älykkyys
- korko
- saari
- IT
- kohdetta
- itse
- Job
- tuntemus
- Kieli
- suuri
- oppiminen
- Licensing
- Todennäköisesti
- rajoitukset
- vähän
- elävät
- LLC
- kauemmin
- kone
- koneoppiminen
- tehty
- ylläpitää
- TEE
- Tekeminen
- haittaohjelmat
- onnistui
- johto
- monet
- Merkitse
- Massa
- Massachusetts
- materiaali
- matematiikka
- asia
- mekanismi
- lääketieteellinen
- lääketieteellinen tutkimus
- lääketiede
- Microsoft
- ehkä
- virheitä
- malli
- mallit
- kk
- lisää
- Morgan
- Luonnollinen
- luonto
- Tarve
- tarvitaan
- numero
- Office
- ONE
- jatkuva
- OpenAI
- Operations
- Itsepäinen
- organisatorinen
- Muut
- yleinen
- Paperi
- erityisesti
- Ohimenevä
- potilas
- potilashoito
- potilaat
- Kuvio
- Pennsylvania
- Ihmiset
- prosentti
- täydellinen
- suorituskyky
- ehkä
- henkilöstö
- lääkäri
- kappaletta
- Paikka
- Platon
- Platonin tietotieto
- PlatonData
- Pelaa
- äänestys
- mahdollinen
- prosessi
- Opettaja
- kyvykkyys
- julkaistu
- laittaa
- Neljännes
- kysymys
- kysymykset
- nopeasti
- hinta
- todellinen
- todellinen maailma
- reaaliaikainen
- äskettäinen
- tunnustaminen
- Merkitys
- raportoitu
- edellyttää
- tarvitaan
- tutkimus
- tutkimusryhmä
- Tutkijat
- herkkä
- käänteinen
- Eroon
- Rooli
- Said
- Koulu
- osiot
- sektorit
- koska
- asetus
- settings
- useat
- samankaltainen
- Yksinkertainen
- So
- Tuotteemme
- Pian
- lähde
- erityisesti
- Stanford
- Osavaltio
- Askeleet
- Strateginen
- opiskelija
- Opiskelijat
- opinnot
- toimitettu
- menestys
- Onnistuneesti
- Ehdottaa
- järjestelmä
- järjestelmät
- Neuvottelut
- tehtävät
- opettajat
- Opetus
- Elektroniikka
- testi
- Testaus
- texas
- -
- maailma
- heidän
- asia
- asiat
- kynnys
- Kautta
- Tiffany
- aika
- että
- työkalu
- työkalut
- koulutettu
- koulutus
- Muuttaa
- muuttamassa
- viserrys
- kaikkialla läsnä oleva
- Odottamaton
- yliopisto
- University of Pennsylvania
- us
- käyttäjä
- hyödyllisyys
- RIKKOMINEN
- kaniiniyhdyskunta
- Wharton
- Mitä
- joka
- vaikka
- KUKA
- tulee
- Referenssit
- työnkulkuja
- maailman-
- olisi
- kirjoittaminen
- Väärä
- vuotta
- saannot
- zephyrnet