ChatGPT não conseguiu passar nos exames de Gastroenterologia dos EUA

ChatGPT não conseguiu passar nos exames de gastroenterologia dos EUA

Carimbo de data / hora: 24 de maio de 2023 3:29
Nó Fonte: 2682739

O ChatGPT não passou nos exames do American College of Gastroenterology e não é capaz de gerar informações médicas precisas para os pacientes, alertaram os médicos.

Um estudo liderado por médicos do Feinstein Institutes for Medical Research testou ambas as variantes do ChatGPT – alimentado pelo modelo GPT-3.5 mais antigo da OpenAI e pelo mais recente sistema GPT-4. A equipe acadêmica copiou e colou no bot as questões de múltipla escolha retiradas dos testes de autoavaliação do American College of Gastroenterology (ACG) de 2021 e 2022 e analisou as respostas do software.

Curiosamente, a versão menos avançada baseada em GPT-3.5 respondeu corretamente 65.1% das 455 perguntas, enquanto o GPT-4 mais poderoso obteve 62.4%. É difícil explicar como isso aconteceu, pois a OpenAI mantém segredo sobre a forma como treina seus modelos. Seus porta-vozes nos disseram que, pelo menos, ambos os modelos foram treinados em dados datados de setembro de 2021.

De qualquer forma, nenhum dos resultados foi bom o suficiente para atingir o limite de 70% para passar nos exames.

Arvind Trindade, professor associado do Feinstein Institutes for Medical Research e autor sênior do estudo publicado no American Journal of Gastroenterology, Disse O registro.

"Embora a pontuação não esteja longe de passar ou obter 70 por cento, eu diria que para aconselhamento médico ou educação médica, a pontuação deveria ser superior a 95."

“Não creio que um paciente se sentiria confortável com um médico que conhece apenas 70% da sua área médica. Se exigimos este alto padrão para os nossos médicos, deveríamos exigir este alto padrão dos chatbots médicos”, acrescentou.

O American College of Gastroenterology treina médicos e seus testes são utilizados como prática para exames oficiais. Para se tornar um gastroenterologista certificado, os médicos precisam passar no exame de gastroenterologia do American Board of Internal Medicine. Isso requer conhecimento e estudo – não apenas intuição.

ChatGPT gera respostas prevendo a próxima palavra em uma determinada frase. A IA aprende padrões comuns em seus dados de treinamento para descobrir qual palavra deve ser a seguir e é parcialmente eficaz na recuperação de informações. Embora a tecnologia tenha melhorado rapidamente, ela não é perfeita e é frequentemente propensa a alucinar fatos falsos – especialmente se estiver sendo questionada sobre assuntos de nicho que podem não estar presentes em seus dados de treinamento.

"A função básica do ChatGPT é prever a próxima palavra em uma sequência de texto para produzir uma resposta esperada com base nas informações disponíveis, independentemente de tal resposta ser factualmente correta ou não. Ele não possui qualquer compreensão intrínseca de um tópico ou problema, ", explica o jornal.

Trindade nos disse que é possível que as informações relacionadas à gastroenterologia nas páginas da web usadas para treinar o software não sejam precisas e que devem ser usados ​​os melhores recursos, como revistas médicas ou bancos de dados. 

Esses recursos, no entanto, não estão prontamente disponíveis e podem ser bloqueados por acesso pago. Nesse caso, o ChatGPT pode não ter sido suficientemente exposto ao conhecimento especializado.

"Os resultados são aplicáveis ​​apenas ao ChatGPT – outros chatbots precisam ser validados. O cerne da questão é onde esses chatbots estão obtendo as informações. Na sua forma atual, o ChatGPT não deve ser usado para aconselhamento médico ou educação médica", concluiu Trindade. ®

Carimbo de hora:

Mais de O registro