O software de bate-papo da OpenAI, ChatGPT, se fosse lançado no mundo, teria uma pontuação entre B e B no exame de Gerenciamento de Operações da Wharton Business School e se aproximaria ou excederia a pontuação necessária para passar no US Medical Licensing Exam (USMLE).
Embora isso possa dizer mais sobre a natureza estática e centrada em documentos do material de teste do que sobre a proeza intelectual do software, não deixa de ser uma questão de preocupação e interesse para os educadores e para quase todas as outras pessoas que vivem na era da automação.
Os acadêmicos têm se preocupado com o fato de sistemas assistivos como ChatGPT e do GitHub Copilot (baseado em um modelo OpenAI chamado Codex) exigirá que os professores reavaliem como ensinam e avaliam os exames porque a tecnologia assistiva baseada no aprendizado de máquina tornou-se tão capaz.
Em ambientes educacionais, o conselho de IA está se tornando comum: o Stanford Daily acaba de relatado, “um grande número de alunos já utilizou o ChatGPT nos seus exames finais.” Estima-se que 17% dos alunos, com base em uma pesquisa anônima com 4,497 entrevistados, disseram ter usado o ChatGPT para ajudar nas tarefas e exames do trimestre de outono, com 5% dizendo que enviaram material diretamente do ChatGPT com pouca ou nenhuma edição - o que é presumivelmente uma violação do código de honra.
Separadamente, Christian Terwiesch, professor da Wharton School da Universidade da Pensilvânia, e um grupo de pesquisadores médicos afiliados principalmente à Ansible Health, decidiram colocar o ChatGPT, um indiscutivelmente consultor automatizado amoral e desafiado factualmente sistema especialista, para o teste.
Tanto Terwiesch quanto os boffins do Ansible Health deixaram claro que o ChatGPT tem limitações e faz as coisas erradas. No geral, eles deram notas medianas, mas deixaram claro que esperam que os sistemas assistivos de IA encontrem um lugar no ensino e em outros setores.
Afinal, o modelo foi treinado em incontáveis peças de escrita feitas pelo homem e, portanto, sua capacidade de adivinhar uma resposta satisfatória a uma pergunta de todo esse conhecimento inalado e factóides não é inesperada.
“Primeiro, ele faz um trabalho incrível em gerenciamento de operações básicas e questões de análise de processos, incluindo aquelas baseadas em estudos de caso”, disse Terwiesch em seu papel. “Não apenas as respostas estão corretas, mas as explicações são excelentes.”
Dito isso, ele observou que o ChatGPT comete erros simples de matemática e se atrapalha com questões avançadas de análise de processos. No entanto, o modelo de IA responde às dicas das pessoas sobre como melhorar – ele pode se corrigir com sucesso quando recebe dicas de um especialista humano.
A orientação humana também serviu como fonte de entrada maliciosa, conforme demonstrado por Tay chatbot da Microsoft e por pesquisa subsequente.
Doutor, doutor
O grupo de pesquisa médica que escreveu “Desempenho do ChatGPT no USMLE: potencial para educação médica assistida por IA usando modelos de linguagem grandes” inclui “ChatGPT” como co-autor.
“ChatGPT contribuiu para a redação de várias seções deste manuscrito”, afirmam os autores biológicos em seu artigo.
Outras afiliações organizacionais dos autores incluem: Massachusetts General Hospital, Harvard School of Medicine, em Boston, Massachusetts; Escola de Medicina Warren Alpert, Brown University, em Providence, Rhode Island; e Departamento de Educação Médica da UWorld, LLC, uma empresa de e-learning de saúde com sede em Dallas, Texas.
Os autores – Tiffany Kung, Morgan Cheatham, ChatGPT, Arielle Medenilla, Czarina Sillos, Lorie De Leon, Camille Elepaño, Maria Madriaga, Rimel Aggabao, Giezel Diaz-Candido, James Maningo e Victor Tseng – chegaram a uma conclusão semelhante à de Terwiesch, da Wharton. . Especificamente, eles descobriram que o ChatGPT teve um desempenho aceitável – acima do limite de aprovação variável de cerca de 60 por cento – no exame USMLE, se for dado o benefício de respostas indeterminadas. E eles esperam que modelos de linguagem grandes (LLMs) desempenhem um papel crescente na educação médica e na tomada de decisões clínicas.
“O ChatGPT produz uma precisão moderada, aproximando-se do desempenho de aprovação no USMLE”, afirmam os autores em seu artigo. “Os itens do exame foram inicialmente codificados como perguntas abertas com prompts de entrada variáveis. Este formato de entrada simula um padrão de consulta de usuário natural e gratuito. Com respostas indeterminadas censuradas/incluídas, a precisão do ChatGPT para USMLE Steps 1, 2CK e 3 foi de 68.0 por cento/42.9 por cento, 58.3 por cento/51.4 por cento e 62.4 por cento/55.7 por cento, respectivamente.”
Descrever o desempenho do ChatGPT como “aproximando-se da passagem” é uma maneira generosa de expressá-lo, principalmente com a IA recebendo crédito por respostas indeterminadas. Chegar a um consultório médico e ver um diploma anunciando nota D pode provocar um pouco mais de preocupação nos pacientes.
Mas os pesquisadores sustentam que as coisas que o ChatGPT acertou estavam em conformidade com as respostas aceitas e que o modelo de IA melhorou notavelmente, tendo meses antes alcançado uma taxa de sucesso de apenas cerca de 36.7%.
Curiosamente, eles observaram que o ChatGPT teve um desempenho melhor do que o PubMedGPT, um LLM baseado apenas em dados biomédicos que conseguiu uma precisão de apenas cerca de 50.8% (com base em dados não publicados).
“Especulamos que o treinamento específico do domínio pode ter criado maior ambivalência no modelo PubMedGPT, pois absorve o texto do mundo real do discurso acadêmico em andamento que tende a ser inconclusivo, contraditório ou altamente conservador ou evasivo em sua linguagem”, afirmam os autores .
Essencialmente, o material menos científico e mais opinativo que entrou no treinamento do ChatGPT, como panfletos de explicação de doenças voltados para pacientes, parece ter tornado o ChatGPT mais opinativo.
“À medida que a IA se torna cada vez mais proficiente, ela logo se tornará onipresente, transformando a medicina clínica em todos os setores da saúde”, concluem os autores, acrescentando que os médicos associados ao AnsibleHealth têm usado o ChatGPT em seus fluxos de trabalho e relataram uma redução de 33% no tempo necessários para completar a documentação e as tarefas indiretas de assistência ao paciente.
Isso talvez explique a decisão da Microsoft para canalizar bilhões para OpenAI para seu futuro software.
A utilidade do ChatGPT em um ambiente educacional - apesar do fato de muitas vezes estar errado - foi enfatizada em um no blog publicado no domingo por Thomas Rid, professor de estudos estratégicos e diretor fundador do Alperovich Institute for Cybersecurity Studies.
Rid descreve um curso recente de análise de malware e engenharia reversa de cinco dias ministrado por Juan Andres Guerrero-Saade.
“Cinco dias depois eu não tinha mais dúvidas: isso vai transformar o ensino superior”, disse Rid. “Eu era um dos alunos. E fiquei impressionado com o que o aprendizado de máquina foi capaz de fazer por nós, em tempo real. E digo isso como alguém que foi um endurecido cético do hype da inteligência artificial por muitos anos. Observe que eu não disse transformação 'provável'. Isso vai transformar o ensino superior.”
Guerrero-Saade, em um tópico no Twitter, reconhece que o ChatGPT entendeu errado, mas insiste que a ferramenta ajudou os alunos a encontrar respostas melhores. Ele sugere que funcione como um assistente de ensino pessoal para cada aluno.
“O temor em torno da IA (ou expectativas exageradas de resultados perfeitos) obscurecem o reconhecimento deste impressionante utilitário LLMs: como um assistente capaz de reunir rapidamente informações (certas ou erradas) com extrema relevância para uma inteligência mais perspicaz (o usuário) para trabalhar, ” , escreveu ele.
Rid argumenta que, embora as preocupações sobre a IA como um mecanismo de plágio e trapaça na educação precisem ser abordadas, a conversa mais importante tem a ver com como as ferramentas de IA podem melhorar os resultados educacionais. ®
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
- Fonte: https://go.theregister.com/feed/www.theregister.com/2023/01/24/chatgpt_exam_study/
- 1
- 7
- 9
- a
- habilidade
- Capaz
- Sobre
- acima
- acadêmico
- precisão
- alcançado
- em
- avançado
- Publicidade
- conselho
- assessor
- Afiliado
- afiliações
- Depois de
- AI
- Todos os Produtos
- já
- surpreendente
- Amazon
- entre
- análise
- e
- Anônimo
- responder
- respostas
- abordagem
- Aproximando
- Argumenta
- por aí
- chegando
- artificial
- inteligência artificial
- auxiliar
- Assistente
- associado
- autores
- Automatizado
- Automação
- baseado
- basic
- Porque
- tornam-se
- torna-se
- tornando-se
- ser
- beneficiar
- Melhor
- entre
- bilhões
- biomédica
- Pouco
- Boston
- Universidade Brown
- negócio
- Escola de Negócios
- chamado
- capaz
- Cuidado
- casas
- Estudos de Caso
- ChatGPT
- batota
- remover filtragem
- Clínico
- médicos
- de perto
- Na nuvem
- Coautor
- código
- como
- completar
- Interesse
- Preocupações
- conclui
- conclusão
- conservador
- contribuiu
- Conversa
- curso
- criado
- crédito
- Cíber segurança
- diariamente
- Dallas
- dados,
- dias
- decidido
- decisão
- Tomada de Decisão
- demonstraram
- Departamento
- Apesar de
- DID
- diretamente
- Diretor
- Doença
- documentação
- duvido
- E-Learning
- cada
- Mais cedo
- Educação
- educacional
- educadores
- Engenharia
- estimado
- Éter (ETH)
- todos
- exame
- excedem
- excelente
- esperar
- expectativas
- especialista
- Explica
- explicação
- extremo
- Cair
- final
- Encontre
- Empresa
- Primeiro nome
- formato
- encontrado
- fundador
- Gratuito
- da
- funções
- futuro
- Geral
- generoso
- ter
- GitHub
- dado
- grau
- maior
- Grupo
- Crescente
- Harvard
- ter
- Saúde
- saúde
- ajudou
- superior
- Ensino superior
- altamente
- dicas
- hospital
- Como funciona o dobrador de carta de canal
- Como Negociar
- Contudo
- HTTPS
- humano
- Hype
- importante
- melhorar
- melhorado
- in
- Em outra
- incluir
- inclui
- Incluindo
- cada vez mais
- INFORMAÇÕES
- entrada
- Instituto
- intelectual
- Inteligência
- interesse
- ilha
- IT
- Unid
- se
- Trabalho
- Conhecimento
- língua
- grande
- aprendizagem
- Licenciamento
- Provável
- limitações
- pequeno
- vida
- LLC
- mais
- máquina
- aprendizado de máquina
- moldadas
- a manter
- FAZ
- Fazendo
- malwares
- gerenciados
- de grupos
- muitos
- marca
- Massa
- massachusetts
- material
- matemática
- Importância
- mecanismo
- médico
- pesquisa médica
- medicina
- Microsoft
- poder
- erros
- modelo
- modelos
- mês
- mais
- Morgan
- natural
- Natureza
- você merece...
- necessário
- número
- Office
- ONE
- contínuo
- OpenAI
- Operações
- Teimoso
- organizacional
- Outros
- global
- Papel
- particularmente
- Passagem
- paciente
- assistência ao paciente
- pacientes
- padrão
- Pennsylvania
- Pessoas
- por cento
- perfeita
- atuação
- possivelmente
- pessoal
- colega
- peças
- Lugar
- platão
- Inteligência de Dados Platão
- PlatãoData
- Jogar
- pol
- potencial
- processo
- Professor
- destreza
- publicado
- colocar
- Trimestre
- questão
- Frequentes
- rapidamente
- Taxa
- reais
- mundo real
- em tempo real
- recentemente
- reconhecimento
- relevância
- Informou
- requerer
- requeridos
- pesquisa
- grupo de pesquisa
- pesquisadores
- responsivo
- reverso
- Livrar
- Tipo
- Dito
- Escola
- seções
- Setores
- visto
- contexto
- Configurações
- vários
- semelhante
- simples
- So
- Software
- Em breve
- fonte
- especificamente
- Stanford
- Estado
- Passos
- Estratégico
- estudante
- Estudantes
- caso
- apresentado
- sucesso
- entraram com sucesso
- Sugere
- .
- sistemas
- negociações
- tarefas
- professores
- Ensino
- Tecnologia
- teste
- ensaio
- texas
- A
- o mundo
- deles
- coisa
- coisas
- limiar
- Através da
- Tiffany
- tempo
- para
- ferramenta
- ferramentas
- treinado
- Training
- Transformar
- transformando
- onipresente
- Inesperado
- universidade
- Universidade da Pensilvânia
- us
- Utilizador
- utilidade
- VIOLAÇÃO
- criação de coelhos
- Wharton
- O Quê
- qual
- enquanto
- QUEM
- precisarão
- Atividades:
- fluxos de trabalho
- mundo
- seria
- escrita
- Errado
- anos
- rendimentos
- zefirnet