Um tecnólogo passou anos construindo um tutor de chatbot de IA. Ele decidiu que isso não pode ser feito. - Notícias EdSurge

Um tecnólogo passou anos construindo um tutor de chatbot de IA. Ele decidiu que isso não pode ser feito. – Notícias EdSurge

Carimbo de data / hora: 22 de janeiro de 2024 4h00
Nó Fonte: 3078433

Quando Satya Nitta trabalhou na IBM, ele e uma equipe de colegas assumiram uma tarefa ousada: usar o que há de mais moderno em inteligência artificial para construir um novo tipo de tutor digital pessoal.

Isso foi antes da existência do ChatGPT e menos pessoas falavam sobre as maravilhas da IA. Mas Nitta estava trabalhando com o que talvez fosse o sistema de IA de maior destaque na época, o Watson da IBM. Essa ferramenta de IA obteve grandes vitórias, incluindo derrotando humanos no programa de perguntas e respostas Jeopardy em 2011.

Nitta diz que estava otimista de que o Watson poderia capacitar um tutor generalizado, mas sabia que a tarefa seria extremamente difícil. “Lembro-me de dizer aos altos executivos da IBM que esta seria uma jornada de 25 anos”, disse ele recentemente ao EdSurge.

Ele diz que sua equipe passou cerca de cinco anos tentando e, ao longo do caminho, ajudou a construir algumas tentativas em pequena escala em produtos de aprendizagem, como um assistente piloto de chatbot que foi parte de um sistema de material didático on-line de psicologia da Pearson em 2018.

Mas no final, Nitta decidiu que, embora a tecnologia de IA generativa que impulsiona o entusiasmo nos dias de hoje traga novos recursos que mudarão a educação e outros campos, a tecnologia simplesmente não está à altura de se tornar um tutor pessoal generalizado e não será por décadas, pelo menos, se é que alguma vez.

“Teremos carros voadores antes de termos tutores de IA”, diz ele. “É um processo profundamente humano que a IA é irremediavelmente incapaz de cumprir de uma forma significativa. É como ser terapeuta ou enfermeira.”

Em vez disso, ele cofundou uma nova empresa de IA, chamada Merlyn Mind, que está construindo outros tipos de ferramentas baseadas em IA para educadores.

Enquanto isso, muitas empresas e líderes educacionais hoje em dia estão trabalhando duro para perseguir o sonho de formar tutores de IA. Mesmo um recente Ordem Executiva da Casa Branca procura ajudar a causa.

No início deste mês, Sal Khan, líder da organização sem fins lucrativos Khan Academy, disse ao New York Times: “Estamos prestes a usar a IA para provavelmente a maior transformação positiva que a educação já viu. E a maneira como faremos isso é dando a cada aluno do planeta um tutor pessoal artificialmente inteligente, mas incrível.”

A Khan Academy foi uma das primeiras organizações a usar o ChatGPT para tentar desenvolver tal tutor, que chama de Khanmigo, que está atualmente em fase piloto em uma série de escolas.

O sistema de Khan vem com um aviso desanimador, observando que “às vezes comete erros”. O aviso é necessário porque todos os chatbots de IA mais recentes sofrem do que é conhecido como “alucinações” – palavra usada para descrever situações em que o chatbot simplesmente fabrica detalhes quando não sabe a resposta a uma pergunta feita por um usuário.

Os especialistas em IA estão ocupados tentando compensar o problema da alucinação, e uma das abordagens mais promissoras até agora é trazer um chatbot de IA separado para verificar os resultados de um sistema como o ChatGPT para ver se ele provavelmente inventou detalhes. Isso é o que pesquisadores da Georgia Tech têm tentado, por exemplo, esperando que seu sistema muti-chatbot chegue ao ponto em que qualquer informação falsa seja eliminada de uma resposta antes de ser mostrada ao aluno. Mas ainda não está claro se a abordagem pode atingir um nível de precisão que os educadores aceitem.

Neste ponto crítico do desenvolvimento de novas ferramentas de IA, porém, é útil perguntar se um tutor de chatbot é o objetivo certo para os desenvolvedores seguirem. Ou existe uma metáfora melhor do que “tutor” para o que a IA generativa pode fazer para ajudar alunos e professores?

Um 'ajudante sempre ativo'

Michael Feldstein passa muito tempo experimentando chatbots atualmente. Ele é um consultor e blogueiro de tecnologia educacional de longa data e, no passado, não tinha vergonha de denunciar o que considerava um exagero excessivo por parte de empresas que vendiam ferramentas de tecnologia educacional.

Em 2015, ele famosamente criticado promessas sobre o que era então o que havia de mais recente em IA para a educação – uma ferramenta de uma empresa chamada Knewton. O CEO da Knewton, José Ferreira, disse que seu produto seria “como um robô tutor no céu que pode semi-ler sua mente e descobrir quais são seus pontos fortes e fracos, até o percentil”. O que levou Feldstein a responder que o CEO estava “vendendo óleo de cobra” porque, argumentou Feldstein, a ferramenta não estava nem perto de cumprir essa promessa. (Os ativos da Knewton foram vendido silenciosamente alguns anos depois.)

Então, o que Feldstein pensa das últimas promessas dos especialistas em IA de que tutores eficazes poderão estar no horizonte próximo?

“ChatGPT definitivamente não é óleo de cobra – longe disso”, disse ele ao EdSurge. “Também não é um robô tutor no céu que pode semi-ler sua mente. Ele tem novos recursos e precisamos pensar sobre que tipos de funções de tutoria a tecnologia atual pode oferecer e que seriam úteis para os alunos.”

Ele acha que a tutoria é uma maneira útil de ver o que o ChatGPT e outros novos chatbots podem fazer. E ele diz que isso vem da experiência pessoal.

Feldstein tem um parente que está lutando contra uma hemorragia cerebral e, por isso, Feldstein tem recorrido ao ChatGPT para lhe dar lições pessoais sobre como compreender a condição médica e o prognóstico de seu ente querido. À medida que Feldstein recebe atualizações de amigos e familiares no Facebook, diz ele, ele faz perguntas em um tópico contínuo no ChatGPT para tentar entender melhor o que está acontecendo.

“Quando pergunto da maneira certa, posso me dar a quantidade certa de detalhes sobre: ​​'O que sabemos hoje sobre as chances de ela ficar bem novamente?'”, Diz Feldstein. “Não é o mesmo que conversar com um médico, mas me ensinou de maneira significativa sobre um assunto sério e me ajudou a ficar mais informado sobre a condição do meu parente.”

Embora Feldstein diga que chamaria isso de tutor, ele argumenta que ainda é importante que as empresas não vendam demais suas ferramentas de IA. “Prestamos um péssimo serviço ao dizer que são essas caixas oniscientes, ou o serão em alguns meses”, diz ele. “São ferramentas. São ferramentas estranhas. Eles se comportam mal de maneiras estranhas – assim como as pessoas.”

Ele ressalta que mesmo os tutores humanos podem cometer erros, mas a maioria dos alunos tem uma noção do que estão se metendo quando marcam uma consulta com um tutor humano.

“Quando você vai a um centro de reforço escolar na sua faculdade, eles não sabem tudo. Você não sabe o quão treinados eles são. Há uma chance de que eles lhe digam algo que está errado. Mas você entra e consegue a ajuda que puder.”

Qualquer que seja o nome que você dê a essas novas ferramentas de IA, diz ele, será útil “ter um ajudante sempre disponível a quem você possa fazer perguntas”, mesmo que seus resultados sejam apenas um ponto de partida para mais aprendizado.

Tarefas de suporte 'chatas', mas importantes

Quais são as novas maneiras pelas quais as ferramentas generativas de IA podem ser usadas na educação, se a tutoria acabar não sendo a opção certa?

Para Nitta, o papel mais importante é servir como assistente de especialistas, em vez de substituir um tutor especializado. Por outras palavras, em vez de substituir, digamos, um terapeuta, ele imagina que os chatbots podem ajudar um terapeuta humano a resumir e organizar notas de uma sessão com um paciente.

“Essa é uma ferramenta muito útil, em vez de uma IA fingindo ser um terapeuta”, diz ele. Embora isso possa ser visto como “chato”, por alguns, ele argumenta que o superpoder da tecnologia é “automatizar coisas que os humanos não gostam de fazer”.

No contexto educacional, sua empresa está construindo ferramentas de IA projetadas para ajudar professores, ou para ajudar tutores humanos, a fazer melhor seu trabalho. Para esse fim, Merlyn Mind deu o passo incomum de construir do zero o seu próprio modelo de linguagem grande, projetado para a educação.

Mesmo assim, ele argumenta que os melhores resultados surgem quando o modelo é ajustado para apoiar domínios educacionais específicos, sendo treinado com conjuntos de dados verificados, em vez de depender do ChatGPT e de outras ferramentas convencionais que extraem grandes quantidades de informações da Internet.

“O que um tutor humano faz bem? Eles conhecem o aluno e proporcionam motivação humana”, acrescenta. “Nosso objetivo é que a IA aumente o tutor.”

Carimbo de hora:

Mais de Ed Surto