En teknolog brugte år på at bygge en AI Chatbot Tutor. Han besluttede, at det ikke kunne lade sig gøre. - EdSurge News

En teknolog brugte år på at bygge en AI Chatbot Tutor. Han besluttede, at det ikke kunne lade sig gøre. – EdSurge News

Tidsstempel: 22. januar 2024 kl. 4
Kildeknude: 3078433

Da Satya Nitta arbejdede hos IBM, påtog han sig sammen med et team af kolleger en dristig opgave: Brug det seneste inden for kunstig intelligens til at bygge en ny slags personlig digital vejleder.

Dette var før ChatGPT eksisterede, og færre mennesker talte om AI's vidundere. Men Nitta arbejdede med det, der måske var det højest profilerede AI-system på det tidspunkt, IBMs Watson. Det AI-værktøj havde trukket nogle store gevinster, bl.a at slå mennesker i Jeopardy-quizshowet i 2011.

Nitta siger, at han var optimistisk over, at Watson kunne drive en generaliseret vejleder, men han vidste, at opgaven ville blive ekstremt vanskelig. "Jeg kan huske, at jeg fortalte IBM's topfolk, at det her bliver en 25-årig rejse," fortalte han for nylig til EdSurge.

Han siger, at hans team brugte omkring fem år på at prøve, og undervejs hjalp de med at bygge nogle små forsøg på at lære produkter, såsom en pilotchatbot-assistent, der var del af et Pearson online psykologi kursusmateriale i 2018.

Men i sidste ende besluttede Nitta, at selvom den generative AI-teknologi, der driver spændingen i disse dage, bringer nye muligheder, der vil ændre uddannelse og andre områder, er teknologien bare ikke klar til at levere på at blive en generaliseret personlig vejleder og vil ikke blive i årtier i hvert fald, hvis nogensinde.

"Vi vil have flyvende biler, før vi får AI-vejledere," siger han. "Det er en dybt menneskelig proces, som AI er håbløst ude af stand til at møde på en meningsfuld måde. Det er som at være terapeut eller som at være sygeplejerske.”

I stedet var han med til at stifte et nyt AI-firma, kaldet Merlyn Mind, der bygger andre typer AI-drevne værktøjer til undervisere.

I mellemtiden er masser af virksomheder og uddannelsesledere i disse dage hårdt på arbejde for at jagte drømmen om at bygge AI-vejledere. Selv en nylig Det Hvide Hus bekendtgørelse søger at hjælpe sagen.

Tidligere på måneden sagde Sal Khan, leder af nonprofit Khan Academy, fortalte New York Times: “Vi er på nippet til at bruge AI til sandsynligvis den største positive transformation, som uddannelse nogensinde har set. Og den måde, vi vil gøre det på, er ved at give hver elev på planeten en kunstigt intelligent, men fantastisk personlig vejleder."

Khan Academy har været en af ​​de første organisationer, der brugte ChatGPT til at forsøge at udvikle en sådan tutor, som den kalder Khanmigo, der i øjeblikket er i en pilotfase i en række skoler.

Khans system kommer dog med en skræmmende advarsel, der bemærker, at det "begår fejl nogle gange." Advarslen er nødvendig, fordi alle de nyeste AI-chatbots lider af det, der er kendt som "hallucinationer" - det ord, der bruges til at beskrive situationer, hvor chatbotten blot fremstiller detaljer, når den ikke kender svaret på et spørgsmål stillet af en bruger.

AI-eksperter har travlt med at forsøge at udligne hallucinationsproblemet, og en af ​​de mest lovende tilgange indtil videre er at bringe en separat AI-chatbot ind for at tjekke resultaterne af et system som ChatGPT for at se, om det sandsynligvis har opfundet detaljer. Det er hvad forskere ved Georgia Tech har prøvet, for eksempel i håb om, at deres muti-chatbot-system kan nå det punkt, hvor enhver falsk information er skrubbet fra et svar, før den vises til en elev. Men det er endnu ikke klart, at tilgangen kan nå et niveau af nøjagtighed, som undervisere vil acceptere.

På dette kritiske tidspunkt i udviklingen af ​​nye AI-værktøjer er det dog nyttigt at spørge, om en chatbot-vejleder er det rigtige mål for udviklere at gå mod. Eller er der en bedre metafor end "vejleder" for, hvad generativ AI kan gøre for at hjælpe elever og lærere?

En 'Always On Helper'

Michael Feldstein bruger meget tid på at eksperimentere med chatbots i disse dage. Han er en mangeårig edtech-konsulent og blogger, og tidligere var han ikke bleg for at råbe, hvad han så som overdreven hype af virksomheder, der sælger edtech-værktøjer.

I 2015, han berømt kritiseret løfter om, hvad der dengang var det seneste inden for AI til uddannelse - et værktøj fra en virksomhed ved navn Knewton. Administrerende direktør for Knewton, Jose Ferreira, sagde, at hans produkt ville være "som en robotlærer i himlen, der kan halvlæse dit sind og finde ud af, hvad dine styrker og svagheder er, ned til percentilen." Hvilket fik Feldstein til at svare, at den administrerende direktør "sælger slangeolie", fordi Feldstein hævdede, at værktøjet ikke var i nærheden af ​​at leve op til det løfte. (Knewtons aktiver var stille og roligt udsolgt et par år senere.)

Så hvad tænker Feldstein om de seneste løfter fra AI-eksperter om, at effektive undervisere kan være på nær horisont?

"ChatGPT er bestemt ikke slangeolie - langt fra," siger han til EdSurge. ”Det er heller ikke en robotlærer i himlen, der kan halvlæse dine tanker. Det har nye muligheder, og vi er nødt til at tænke over, hvilke slags vejledningsfunktioner nutidens teknologi kan levere, som ville være nyttige for studerende."

Han mener dog, at vejledning er en nyttig måde at se, hvad ChatGPT og andre nye chatbots kan gøre. Og han siger, at det kommer af personlig erfaring.

Feldstein har en slægtning, der kæmper med en hjerneblødning, og derfor har Feldstein henvendt sig til ChatGPT for at give ham personlige lektioner i at forstå den medicinske tilstand og hans elskedes prognose. Da Feldstein får opdateringer fra venner og familie på Facebook, siger han, stiller han spørgsmål i en igangværende tråd i ChatGPT for at forsøge bedre at forstå, hvad der sker.

"Når jeg spørger det på den rigtige måde, kan det give mig den rigtige mængde detaljer om: 'Hvad ved vi i dag om hendes chancer for at blive ok igen?'" siger Feldstein. "Det er ikke det samme som at tale med en læge, men det har vejledt mig på meningsfulde måder om et alvorligt emne og hjulpet mig med at blive mere uddannet om min pårørendes tilstand."

Mens Feldstein siger, at han ville kalde det en tutor, argumenterer han for, at det stadig er vigtigt, at virksomheder ikke oversælger deres AI-værktøjer. "Vi har gjort en bjørnetjeneste ved at sige, at de er disse alvidende kasser, ellers vil de være det om et par måneder," siger han. "De er værktøjer. Det er mærkelige værktøjer. De opfører sig forkert på mærkelige måder - det samme gør folk."

Han påpeger, at selv menneskelige vejledere kan lave fejl, men de fleste studerende har en fornemmelse af, hvad de går ind til, når de laver en aftale med en menneskelig vejleder.

“Når du går ind på et tutorcenter på dit college, ved de ikke alt. Du ved ikke, hvor trænede de er. Der er en chance for, at de kan fortælle dig noget, der er galt. Men du går ind og får den hjælp, du kan.”

Uanset hvad du kalder disse nye AI-værktøjer, siger han, vil det være nyttigt at "have en altid aktiv hjælper, som du kan stille spørgsmål til," selvom deres resultater blot er et udgangspunkt for mere læring.

'Kedelig' men vigtige supportopgaver

Hvilke nye måder kan generative AI-værktøjer bruges i undervisningen, hvis vejledning ikke ender med at passe?

For Nitta er den stærkeste rolle at tjene som assistent for eksperter i stedet for en erstatning for en ekspertvejleder. Med andre ord, i stedet for at erstatte for eksempel en terapeut, forestiller han sig, at chatbots kan hjælpe en menneskelig terapeut med at opsummere og organisere notater fra en session med en patient.

"Det er et meget nyttigt værktøj snarere end en kunstig intelligens, der foregiver at være en terapeut," siger han. Selvom det af nogle kan ses som "kedeligt", hævder han, at teknologiens superkraft er at "automatisere ting, som mennesker ikke kan lide at gøre."

I uddannelsessammenhæng bygger hans virksomhed AI-værktøjer designet til at hjælpe lærere eller til at hjælpe menneskelige vejledere med at udføre deres arbejde bedre. Til det formål har Merlyn Mind taget det usædvanlige skridt at bygge sin egen såkaldte store sprogmodel fra bunden designet til uddannelse.

Selv da hævder han, at de bedste resultater kommer, når modellen er indstillet til at understøtte specifikke uddannelsesdomæner, ved at blive trænet med kontrollerede datasæt i stedet for at stole på ChatGPT og andre almindelige værktøjer, der trækker fra enorme mængder af information fra internettet.

"Hvad gør en menneskelig vejleder godt? De kender eleven, og de giver menneskelig motivation,” tilføjer han. "Vi handler alle om, at AI forstærker vejlederen."

Tidsstempel:

Mere fra Ed Surge