Un technologue a passé des années à créer un tuteur de chatbot IA. Il a décidé que cela ne pouvait pas être fait. - Actualités EdSurge

Un technologue a passé des années à créer un tuteur de chatbot IA. Il a décidé que cela ne pouvait pas être fait. – Actualités EdSurge

Horodatage: 22 janvier 2024 4:00 AM
Nœud source: 3078433

Lorsque Satya Nitta travaillait chez IBM, lui et une équipe de collègues ont entrepris une mission audacieuse : utiliser les dernières avancées en matière d'intelligence artificielle pour créer un nouveau type de tuteur numérique personnel.

C’était avant que ChatGPT n’existe, et moins de gens parlaient des merveilles de l’IA. Mais Nitta travaillait avec ce qui était peut-être le système d'IA le plus en vue de l'époque, Watson d'IBM. Cet outil d'IA a remporté de gros succès, notamment battre des humains lors du quiz Jeopardy en 2011.

Nitta dit qu'il était optimiste quant au fait que Watson puisse diriger un tuteur généraliste, mais il savait que la tâche serait extrêmement difficile. "Je me souviens avoir dit aux hauts dirigeants d'IBM que cela allait être un voyage de 25 ans", a-t-il récemment déclaré à EdSurge.

Il dit que son équipe a passé environ cinq ans à essayer et, en cours de route, a contribué à la création de produits d'apprentissage à petite échelle, tels qu'un assistant chatbot pilote qui a été fait partie d'un système de didacticiels de psychologie en ligne Pearson dès 2018.

Mais en fin de compte, Nitta a décidé que même si la technologie d'IA générative qui suscite l'enthousiasme de nos jours apporte de nouvelles capacités qui changeront l'éducation et d'autres domaines, la technologie n'est tout simplement pas à la hauteur pour devenir un tuteur personnel généralisé, et ne le sera pas. pendant des décennies au moins, voire jamais.

« Nous aurons des voitures volantes avant d'avoir des tuteurs en IA », dit-il. « Il s’agit d’un processus profondément humain auquel l’IA est désespérément incapable de répondre de manière significative. C'est comme être thérapeute ou être infirmière.

Au lieu de cela, il a cofondé une nouvelle société d’IA, appelée Merlyn Mind, qui développe d’autres types d’outils basés sur l’IA pour les enseignants.

Pendant ce temps, de nombreuses entreprises et responsables de l’éducation travaillent dur pour poursuivre ce rêve de créer des tuteurs en IA. Même un récent Décret exécutif de la Maison Blanche cherche à aider la cause.

Plus tôt ce mois-ci, Sal Khan, dirigeant de l'association à but non lucratif Khan Academy, dit le New York Times: « Nous sommes sur le point d’utiliser l’IA pour probablement la plus grande transformation positive que l’éducation ait jamais connue. Et pour y parvenir, nous allons donner à chaque élève de la planète un tuteur personnel artificiellement intelligent mais extraordinaire.

Khan Academy a été l'une des premières organisations à utiliser ChatGPT pour tenter de développer un tel tuteur, appelé Khanmigo, qui est actuellement en phase pilote dans une série d'écoles.

Le système de Khan est cependant accompagné d’un avertissement rebutant, notant qu’il « commet parfois des erreurs ». Cet avertissement est nécessaire car tous les derniers chatbots IA souffrent de ce que l'on appelle des « hallucinations » – le mot utilisé pour décrire des situations dans lesquelles le chatbot fabrique simplement des détails alors qu'il ne connaît pas la réponse à une question posée par un utilisateur.

Les experts en IA s'efforcent de résoudre le problème des hallucinations, et l'une des approches les plus prometteuses à ce jour consiste à introduire un chatbot IA distinct pour vérifier les résultats d'un système comme ChatGPT et voir s'il a probablement inventé des détails. C'est ce que des chercheurs de Georgia Tech ont essayé, par exemple, en espérant que leur système multi-chatbot pourra arriver au point où toute fausse information sera supprimée d'une réponse avant d'être montrée à un étudiant. Mais il n’est pas encore sûr que cette approche puisse atteindre un niveau de précision acceptable par les éducateurs.

Cependant, à ce stade critique du développement de nouveaux outils d’IA, il est utile de se demander si un tuteur de chatbot est le bon objectif vers lequel les développeurs doivent se diriger. Ou existe-t-il une meilleure métaphore que celle de « tuteur » pour décrire ce que l’IA générative peut faire pour aider les étudiants et les enseignants ?

Un « assistant toujours disponible »

Michael Feldstein passe beaucoup de temps à expérimenter les chatbots ces jours-ci. Il est consultant et blogueur edtech de longue date, et dans le passé, il n'hésitait pas à dénoncer ce qu'il considérait comme un battage médiatique excessif de la part des entreprises vendant des outils edtech.

En 2015, il célèbrement critiqué des promesses sur ce qui était alors la dernière nouveauté en matière d’IA pour l’éducation – un outil d’une société appelée Knewton. Le PDG de Knewton, Jose Ferreira, a déclaré que son produit serait « comme un robot tuteur dans le ciel qui peut lire à moitié dans vos pensées et déterminer quelles sont vos forces et vos faiblesses, jusqu'au centile ». Ce qui a amené Feldstein à répondre que le PDG « vendait de l’huile de serpent » parce que, selon Feldstein, l’outil était loin d’être à la hauteur de cette promesse. (Les actifs de Knewton étaient vendu tranquillement quelques années plus tard.)

Alors, que pense Feldstein des dernières promesses des experts en IA selon lesquelles des tuteurs efficaces pourraient être à l’horizon ?

"ChatGPT n'est certainement pas de l'huile de serpent, loin de là", dit-il à EdSurge. « Ce n’est pas non plus un robot tuteur dans le ciel qui peut à moitié lire dans vos pensées. Elle possède de nouvelles capacités, et nous devons réfléchir aux types de fonctions de tutorat que la technologie actuelle peut offrir et qui seraient utiles aux étudiants.

Il pense cependant que le tutorat est un moyen utile de voir ce que ChatGPT et d’autres nouveaux chatbots peuvent faire. Et il dit que cela vient de son expérience personnelle.

Feldstein a un parent qui lutte contre une hémorragie cérébrale, et Feldstein s'est donc tourné vers ChatGPT pour lui donner des leçons personnelles sur la compréhension de l'état de santé et du pronostic de son proche. Alors que Feldstein reçoit des mises à jour de ses amis et de sa famille sur Facebook, dit-il, il pose des questions dans un fil de discussion en cours sur ChatGPT pour essayer de mieux comprendre ce qui se passe.

"Lorsque je pose la question de la bonne manière, cela peut me donner la bonne quantité de détails sur : 'Que savons-nous aujourd'hui de ses chances d'aller à nouveau bien ?'", dit Feldstein. « Ce n'est pas la même chose que de parler à un médecin, mais cela m'a donné un enseignement significatif sur un sujet sérieux et m'a aidé à mieux connaître l'état de santé de mon proche. »

Bien que Feldstein affirme qu'il appellerait cela un tuteur, il affirme qu'il est toujours important que les entreprises ne vendent pas trop leurs outils d'IA. « Nous n'avons pas rendu service en disant que ce sont des boîtes omniscientes, ou elles le seront dans quelques mois », dit-il. « Ce sont des outils. Ce sont des outils étranges. Ils se comportent mal de manière étrange – tout comme les gens.

Il souligne que même les tuteurs humains peuvent commettre des erreurs, mais la plupart des étudiants ont une idée de ce dans quoi ils s'embarquent lorsqu'ils prennent rendez-vous avec un tuteur humain.

« Quand vous allez dans un centre de tutorat de votre collège, ils ne savent pas tout. Vous ne savez pas à quel point ils sont formés. Il est possible qu'ils vous disent quelque chose qui ne va pas. Mais allez-y et obtenez l’aide que vous pouvez.

Quel que soit le nom que vous donnerez à ces nouveaux outils d’IA, dit-il, il sera utile de « disposer d’un assistant permanent à qui vous pourrez poser des questions », même si leurs résultats ne sont qu’un point de départ pour davantage d’apprentissage.

Tâches de support « ennuyeuses » mais importantes

Quelles sont les nouvelles façons dont les outils d’IA générative peuvent être utilisés dans l’éducation, si le tutorat s’avère ne pas être la bonne solution ?

Pour Nitta, le rôle le plus important est de servir d’assistant aux experts plutôt que de remplacer un tuteur expert. En d’autres termes, au lieu de remplacer, par exemple, un thérapeute, il imagine que les chatbots peuvent aider un thérapeute humain à résumer et organiser les notes d’une séance avec un patient.

"C'est un outil très utile plutôt qu'une IA se faisant passer pour un thérapeute", dit-il. Même si certains peuvent considérer cela comme « ennuyeux », il affirme que le super pouvoir de la technologie est « d’automatiser des choses que les humains n’aiment pas faire ».

Dans le contexte éducatif, son entreprise développe des outils d’IA conçus pour aider les enseignants, ou pour aider les tuteurs humains, à mieux faire leur travail. À cette fin, Merlyn Mind a pris la décision inhabituelle de créer à partir de zéro son propre modèle de langage, ce qu’on appelle, conçu pour l’éducation.

Même dans ce cas, il affirme que les meilleurs résultats surviennent lorsque le modèle est adapté pour prendre en charge des domaines éducatifs spécifiques, en étant formé avec des ensembles de données vérifiés plutôt que de s'appuyer sur ChatGPT et d'autres outils grand public qui s'appuient sur de grandes quantités d'informations provenant d'Internet.

« Qu'est-ce qu'un tuteur humain fait bien ? Ils connaissent l’étudiant et apportent une motivation humaine », ajoute-t-il. "Nous souhaitons que l'IA améliore le tuteur."

Horodatage:

Plus de Ed Surge