Die Chat-Software ChatGPT von OpenAI würde, wenn sie auf die Welt losgelassen würde, bei der Betriebsmanagement-Prüfung der Wharton Business School zwischen einem B und einem B- punkten und die zum Bestehen des US Medical Licensing Exam (USMLE) erforderliche Punktzahl erreichen oder übertreffen.
Während dies mehr über die statische, dokumentenzentrierte Natur des Testens von Material als über die intellektuellen Fähigkeiten von Software aussagt, ist es dennoch ein Anliegen und Interesse für Pädagogen und fast alle anderen, die im Zeitalter der Automatisierung leben.
Akademiker haben sich darüber Sorgen gemacht, dass Assistenzsysteme mögen ChatGPT und GitHubs Copilot (basierend auf einem OpenAI-Modell namens Codex) wird von den Lehrern verlangen, dass sie neu bewerten, wie sie unterrichten und Prüfungen benoten, da die auf maschinellem Lernen basierende Hilfstechnologie so leistungsfähig geworden ist.
In Bildungseinrichtungen wird KI-Beratung alltäglich: The Stanford Daily just berichtet, „viele Studierende haben ChatGPT bereits bei ihren Abschlussprüfungen eingesetzt.“ Geschätzte 17 Prozent der Studenten, basierend auf einer anonymen Umfrage unter 4,497 Befragten, gaben an, dass sie ChatGPT verwendet haben, um bei Aufgaben und Prüfungen im Herbstquartal zu helfen, wobei 5 Prozent angaben, dass sie Material direkt von ChatGPT mit wenig oder keiner Bearbeitung eingereicht hatten – was vermutlich der Fall ist eine Verletzung des Ehrenkodex.
Unabhängig davon entschieden sich Christian Terwiesch, Professor an der Wharton School der University of Pennsylvania, und eine Gruppe medizinischer Forscher, die größtenteils mit Ansible Health verbunden sind, für ChatGPT. ein wohl amoralischer automatisierter Berater und sachlich bestritten Expertensystem auf den Prüfstand.
Sowohl Terwiesch als auch die Experten von Ansible Health machten deutlich, dass ChatGPT Einschränkungen hat und Dinge falsch macht. Insgesamt vergeben sie mittelmäßige Noten, machten aber deutlich, dass sie davon ausgehen, dass KI-Assistenzsysteme einen Platz in der Lehre und in anderen Bereichen finden werden.
Schließlich wurde das Modell mit unzähligen von Menschenhand geschriebenen Texten trainiert, und daher ist seine Fähigkeit, aus all dem eingeatmeten Wissen und den Tatsachen eine zufriedenstellende Antwort auf eine Frage zu erraten, nicht unerwartet.
„Erstens leistet es hervorragende Arbeit bei Fragen des grundlegenden Betriebsmanagements und der Prozessanalyse, einschließlich solcher, die auf Fallstudien basieren“, sagte Terwiesch in sein Papier. „Die Antworten sind nicht nur richtig, sondern auch die Erklärungen sind ausgezeichnet.“
Allerdings beobachtete er, dass ChatGPT einfache mathematische Fehler macht und fortgeschrittene Fragen zur Prozessanalyse durcheinanderbringt. Das KI-Modell reagiert jedoch auf Hinweise von Menschen zur Verbesserung – es kann sich selbst erfolgreich korrigieren, wenn es Hinweise von einem menschlichen Experten erhält.
Menschliche Führung hat auch als Quelle böswilliger Eingaben gedient, wie gezeigt wird Microsofts Tay-Chatbot und durch anschließende Forschung.
Arzt, Arzt
Die medizinische Forschungsgruppe, die schrieb „Leistung von ChatGPT auf USMLE: Potenzial für KI-unterstützte medizinische Ausbildung unter Verwendung großer Sprachmodelle“ enthält „ChatGPT“ als Co-Autor.
„ChatGPT hat zum Schreiben mehrerer Abschnitte dieses Manuskripts beigetragen“, erklären die biologischen Autoren in ihrem Artikel.
Andere organisatorische Zugehörigkeiten der Autoren sind: Massachusetts General Hospital, Harvard School of Medicine, in Boston, Mass; Warren Alpert Medical School, Brown University, in Providence, Rhode Island; und Department of Medical Education bei UWorld, LLC, einem Unternehmen für E-Learning im Gesundheitswesen mit Sitz in Dallas, Texas.
Die Autoren – Tiffany Kung, Morgan Cheatham, ChatGPT, Arielle Medenilla, Czarina Sillos, Lorie De Leon, Camille Elepaño, Maria Madriaga, Rimel Aggabao, Giezel Diaz-Candido, James Maningo und Victor Tseng – kamen zu einem ähnlichen Schluss wie Whartons Terwiesch . Insbesondere stellten sie fest, dass ChatGPT bei der USMLE-Prüfung passabel abschneidet – über der variablen Bestehensschwelle von etwa 60 Prozent – wenn man den Vorteil unbestimmter Antworten erhält. Und sie erwarten, dass Large Language Models (LLMs) eine wachsende Rolle in der medizinischen Ausbildung und bei der klinischen Entscheidungsfindung spielen werden.
„ChatGPT liefert eine mäßige Genauigkeit, die sich der Bestehensleistung auf USMLE annähert“, stellen die Autoren in ihrem Artikel fest. „Prüfungsaufgaben wurden zunächst als offene Fragen mit variablen Einstiegsaufforderungen kodiert. Dieses Eingabeformat simuliert ein freies natürliches Benutzerabfragemuster. Mit zensierten/eingeschlossenen unbestimmten Antworten betrug die ChatGPT-Genauigkeit für die USMLE-Schritte 1, 2CK und 3 68.0 Prozent/42.9 Prozent, 58.3 Prozent/51.4 Prozent bzw. 62.4 Prozent/55.7 Prozent.“
Die Leistung von ChatGPT als „fast vorbei“ zu beschreiben, ist eine großzügige Art, sie zu formulieren, insbesondere wenn der KI unbestimmte Antworten zugeschrieben werden. In einer Arztpraxis anzukommen und ein Diplom zu sehen, das mit der Note D beworben wird, könnte bei Patienten etwas mehr Besorgnis hervorrufen.
Die Forscher behaupten jedoch, dass die Dinge, die ChatGPT richtig gemacht hat, eng mit den akzeptierten Antworten übereinstimmten und dass sich das KI-Modell bemerkenswert verbessert hat, nachdem es Monate zuvor eine Erfolgsquote von nur etwa 36.7 Prozent erreicht hatte.
Interessanterweise stellten sie fest, dass ChatGPT besser abschneidet als PubMedGPT, ein LLM, das ausschließlich auf biomedizinischen Daten basiert und eine Genauigkeit von nur etwa 50.8 Prozent erreicht (basierend auf unveröffentlichten Daten).
„Wir spekulieren, dass domänenspezifisches Training möglicherweise zu einer größeren Ambivalenz im PubMedGPT-Modell geführt hat, da es reale Texte aus dem laufenden akademischen Diskurs absorbiert, die in ihrer Sprache tendenziell nicht schlüssig, widersprüchlich oder sehr konservativ oder unverbindlich sind“, stellen die Autoren fest .
Im Wesentlichen scheint das weniger wissenschaftliche, eigensinnigere Material, das in die Schulung von ChatGPT eingeflossen ist, wie Broschüren zur Erklärung von Krankheiten, die ChatGPT eigensinniger gemacht haben.
„Da die KI immer leistungsfähiger wird, wird sie bald allgegenwärtig sein und die klinische Medizin in allen Bereichen des Gesundheitswesens verändern“, schlussfolgern die Autoren und fügen hinzu, dass die mit AnsibleHealth verbundenen Kliniker ChatGPT in ihren Arbeitsabläufen verwendet und eine Zeitersparnis von 33 Prozent gemeldet haben erforderlich, um die Dokumentation und indirekte Aufgaben der Patientenversorgung abzuschließen.
Dies erklärt vielleicht die Entscheidung von Microsoft um Milliarden in OpenAI zu stecken für seine zukünftige Software.
Die Nützlichkeit von ChatGPT im Bildungsbereich – trotz der Tatsache, dass es oft falsch ist – wurde in a unterstrichen Blog-Post veröffentlicht am Sonntag von Thomas Rid, Professor für strategische Studien und Gründungsdirektor des Alperovich Institute for Cybersecurity Studies.
Rid beschreibt einen kürzlich von Juan Andres Guerrero-Saade geleiteten fünftägigen Malware-Analyse- und Reverse-Engineering-Kurs.
„Fünf Tage später hatte ich keine Zweifel mehr: Dieses Ding wird die Hochschulbildung verändern“, sagte Rid. „Ich war einer der Studenten. Und ich war überwältigt davon, was maschinelles Lernen in Echtzeit für uns leisten konnte. Und ich sage das als jemand, der ein Abgehärteter war Skeptiker des Hypes um künstliche Intelligenz seit vielen Jahren. Beachten Sie, dass ich nicht "wahrscheinlich" Transformation gesagt habe. Es wird die Hochschulbildung verändern.“
Guerrero-Saade, in ein Twitter-Thread, räumt ein, dass ChatGPT etwas falsch gemacht hat, besteht jedoch darauf, dass das Tool den Schülern geholfen hat, bessere Antworten zu finden. Er schlägt vor, dass es wie ein persönlicher Lehrassistent für jeden Schüler funktioniert.
„Die Angstmacherei um KI (oder übergroße Erwartungen an perfekte Ergebnisse) trübt die Anerkennung des erstaunlichen Nutzens dieses LLM: als Assistent, der in der Lage ist, schnell Informationen (richtig oder falsch) mit extremer Relevanz für eine anspruchsvollere Intelligenz (den Benutzer) zusammenzuführen, mit der er arbeiten kann, ” schrieb er.
Rid argumentiert, dass zwar Bedenken hinsichtlich der KI als Mechanismus für Plagiate und Betrug in der Bildung angegangen werden müssen, die wichtigere Diskussion jedoch damit zu tun hat, wie KI-Tools die Bildungsergebnisse verbessern können. ®
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. Hier zugreifen.
- Quelle: https://go.theregister.com/feed/www.theregister.com/2023/01/24/chatgpt_exam_study/
- 1
- 7
- 9
- a
- Fähigkeit
- Fähig
- Über Uns
- oben
- akademisch
- Genauigkeit
- erreicht
- über
- advanced
- Marketings
- Beratung
- Berater
- Verbunden
- Zugehörigkeiten
- Nach der
- AI
- Alle
- bereits
- erstaunlich
- Amazon
- unter
- Analyse
- und
- Anonym
- beantworten
- Antworten
- Ansatz
- Annäherung
- Argumentiert
- um
- ankommen
- künstlich
- künstliche Intelligenz
- helfen
- Assistentin
- damit verbundenen
- Autoren
- Automatisiert
- Automation
- basierend
- basic
- weil
- werden
- wird
- Werden
- Sein
- Nutzen
- Besser
- zwischen
- Milliarden
- biomedizinische
- Bit
- Boston
- Brown University
- Geschäft
- Business School
- namens
- fähig
- österreichische Unternehmen
- Häuser
- Case Studies
- ChatGPT
- Betrug
- klar
- Klinische
- Ärzten
- eng
- Cloud
- Mitverfasser
- Code
- wie die
- abschließen
- Hautpflegeprobleme
- Bedenken
- Schluss
- Abschluss
- konservativ
- beigetragen
- Gespräch
- Kurs
- erstellt
- Kredit
- Internet-Sicherheit
- Unterricht
- Dallas
- technische Daten
- Tage
- entschieden
- Entscheidung
- Decision Making
- Synergie
- Abteilung
- Trotz
- DID
- Direkt
- Direktor
- Krankheit
- Dokumentation
- zweifeln
- E-Learning
- jeder
- Früher
- Bildungswesen
- Bildungs-
- Erzieher
- Entwicklung
- geschätzt
- Äther (ETH)
- jedermann
- Prüfung
- überschreiten
- Ausgezeichnet
- erwarten
- Erwartungen
- Experte
- Erklärt
- Erklärung
- Extrem
- Fallen
- Finale
- Finden Sie
- Fest
- Vorname
- Format
- gefunden
- Gründer
- Frei
- für
- Funktionen
- Zukunft
- Allgemeines
- großzügig
- bekommen
- GitHub
- gegeben
- Klasse
- mehr
- Gruppe an
- persönlichem Wachstum
- Harvard
- mit
- Gesundheit
- Gesundheitswesen
- dazu beigetragen,
- höher
- Höhere Bildung
- hoch
- Hinweise
- Krankenhaus
- Ultraschall
- Hilfe
- aber
- HTTPS
- human
- Hype
- wichtig
- zu unterstützen,
- verbessert
- in
- In anderen
- das
- Dazu gehören
- Einschließlich
- zunehmend
- Information
- Varianten des Eingangssignals:
- Institut
- geistigen
- Intelligenz
- Interesse
- Insel
- IT
- Artikel
- selbst
- Job
- Wissen
- Sprache
- grosse
- lernen
- Lizenzierung
- wahrscheinlich
- Einschränkungen
- wenig
- Leben
- LLC
- länger
- Maschine
- Maschinelles Lernen
- gemacht
- halten
- MACHT
- Making
- Malware
- verwaltet
- Management
- viele
- Kennzeichen
- Masse
- Massachusetts
- Ihres Materials
- Mathe
- Materie
- Mechanismus
- sowie medizinische
- medizinische Forschung
- Medizin
- Microsoft
- könnte
- Fehler
- Modell
- für
- Monat
- mehr
- Morgan
- Natürliche
- Natur
- Need
- erforderlich
- Anzahl
- Office
- EINEM
- laufend
- OpenAI
- Einkauf & Prozesse
- Rechthaberisch
- organisatorisch
- Andere
- Gesamt-
- Papier
- besonders
- Bestehen
- Vertrauen bei Patienten
- Patientenversorgung
- Patienten
- Schnittmuster
- Pennsylvania
- Personen
- Prozent
- perfekt
- Leistung
- vielleicht
- persönliche
- Arzt
- Stücke
- Ort
- Plato
- Datenintelligenz von Plato
- PlatoData
- Play
- Umfrage
- Potenzial
- Prozessdefinierung
- Professor
- Können
- veröffentlicht
- setzen
- Quartal
- Frage
- Fragen
- schnell
- Bewerten
- echt
- realen Welt
- Echtzeit
- kürzlich
- Anerkennung
- Relevanz
- Berichtet
- erfordern
- falls angefordert
- Forschungsprojekte
- Forschungsgruppe
- Forscher
- ansprechbar
- rückgängig machen
- Loswerden
- Rollen
- Said
- Schule
- Abschnitte
- Sektoren
- Sehen
- Einstellung
- Einstellungen
- mehrere
- ähnlich
- Einfacher
- So
- Software
- Bald
- Quelle
- speziell
- Stanford
- Bundesstaat
- Shritte
- Strategisch
- Schüler und Studenten
- Die Kursteilnehmer
- Es wurden Studien
- eingereicht
- Erfolg
- Erfolgreich
- Schlägt vor
- System
- Systeme und Techniken
- Gespräche
- und Aufgaben
- auch Lehrer
- Einführungen
- Technologie
- Test
- Testen
- Texas
- Das
- die Welt
- ihr
- Ding
- Schwelle
- Durch
- Tiffany
- Zeit
- zu
- Werkzeug
- Werkzeuge
- trainiert
- Ausbildung
- Transformieren
- Transformieren
- allgegenwärtig
- Unerwartet
- Universität
- University of Pennsylvania
- us
- Mitglied
- Nutzen
- VERSTOSS
- Kaninchenbau
- wharton
- Was
- welche
- während
- WHO
- werden wir
- Arbeiten
- Workflows
- weltweit wie ausgehandelt und gekauft ausgeführt wird.
- würde
- Schreiben
- Falsch
- Jahr
- Erträge
- Zephyrnet