ChatGPT Is Great—You’re Just Using It Wrong

Republicado por Platão

seguidores: 0

Não é preciso muito para obter ChatGPT cometer um erro factual. Meu filho está fazendo uma reportagem sobre os presidentes dos Estados Unidos, então pensei em ajudá-lo procurando algumas biografias. Tentei pedir uma lista de livros sobre Abraham Lincoln, e funcionou muito bem:

captura de tela de texto — Uma lista razoável de livros sobre Lincoln. Crédito da imagem: Captura de tela por Jonathan May, CC BY-ND

O número 4 não está certo. Garry Wills escreveu a famosa “Lincoln em Gettysburg”, e o próprio Lincoln escreveu a Proclamação de Emancipação, é claro, mas não é um mau começo. Então eu tentei algo mais difícil, perguntando sobre o muito mais obscuro William Henry Harrison, e corajosamente forneceu uma lista, quase toda errada.

Os números 4 e 5 estão corretos; o resto não existe ou não é de autoria dessas pessoas. Repeti exatamente o mesmo exercício e obtive resultados ligeiramente diferentes:

Desta vez, os números 2 e 3 estão corretos e os outros três não são livros reais ou não foram escritos por esses autores. Número 4, “William Henry Harrison: His Life and Times” é um livro real, mas é de James A. Green, não de Robert Remini, um historiador conhecido da era Jacksoniana.

Eu indiquei o erro, e o ChatGPT se corrigiu ansiosamente e então me disse com confiança que o livro foi de fato escrito por Gail Collins (que escreveu uma biografia diferente de Harrison), e então passou a dizer mais sobre o livro e sobre ela. Finalmente revelei a verdade e a máquina ficou feliz em executar minha correção. Então eu menti absurdamente, dizendo que durante os primeiros cem dias os presidentes têm que escrever uma biografia de algum ex-presidente, e o ChatGPT me chamou a atenção. Então menti sutilmente, atribuindo incorretamente a autoria da biografia de Harrison ao historiador e escritor Paul C. Nagel, e isso comprou minha mentira.

Quando perguntei ao ChatGPT se tinha certeza de que não estava mentindo, ele alegou que é apenas um “modelo de linguagem AI” e não tem a capacidade de verificar a precisão. No entanto, modificou essa afirmação dizendo: “Só posso fornecer informações com base nos dados de treinamento que recebi e parece que o livro 'William Henry Harrison: His Life and Times' foi escrito por Paul C. Nagel e publicado em 1977.”

Isso não é verdade.

Palavras, não fatos

Pode parecer a partir dessa interação que o ChatGPT recebeu uma biblioteca de fatos, incluindo afirmações incorretas sobre autores e livros. Afinal, o criador do ChatGPT, OpenAI, afirma que treinou o chatbot em “vastas quantidades de dados da internet escritas por humanos. "

No entanto, quase certamente não foi dado o nome de um monte de livros inventados sobre um dos mais presidentes medíocres. De certa forma, porém, essa informação falsa é realmente baseada em seus dados de treinamento.

Como um cientista da computação, muitas vezes recebo reclamações que revelam um equívoco comum sobre grandes modelos de linguagem como ChatGPT e seus irmãos mais velhos GPT3 e GPT2: que eles são algum tipo de "super Googles" ou versões digitais de um bibliotecário de referência, procurando respostas para perguntas de alguns biblioteca infinitamente grande de fatos, ou misturando pastiches de histórias e personagens. Eles não fazem nada disso - pelo menos, não foram explicitamente projetados para isso.

Parece bom

Um modelo de linguagem como o ChatGPT, que é mais formalmente conhecido como um “transformador pré-treinado generativo” (é o que significam G, P e T), assume a conversa atual, forma uma probabilidade para todas as palavras em seu vocabulário dado aquela conversa e, em seguida, escolhe uma delas como a próxima palavra provável. Então ele faz isso de novo, e de novo, e de novo, até parar.

Portanto, não tem fatos, por si só. Ele apenas sabe qual palavra deve vir a seguir. Dito de outra forma, o ChatGPT não tenta escrever frases verdadeiras. Mas tenta escrever frases plausíveis.

Ao conversar em particular com colegas sobre o ChatGPT, eles geralmente apontam quantas declarações factualmente falsas ele produz e o descartam. Para mim, a ideia de que o ChatGPT é um sistema de recuperação de dados falho não vem ao caso. Afinal, as pessoas têm usado o Google nas últimas duas décadas e meia. Já existe um bom serviço de apuração de fatos.

Na verdade, a única maneira de verificar se todos os títulos dos livros presidenciais eram precisos foi pesquisando no Google e depois verificando os resultados. Minha vida não seria muito melhor se eu conseguisse esses fatos em uma conversa, em vez da forma como venho obtendo por quase metade da minha vida, recuperando documentos e depois fazendo uma análise crítica para ver se posso confiar no conteúdo.

Parceiro de improvisação

Por outro lado, se eu puder falar com um bot que me dê respostas plausíveis para as coisas que eu disser, seria útil em situações onde a precisão factual não é tão importante. Alguns anos atrás, um aluno e eu tentamos criar um “bot de improvisação”, que responderia a qualquer coisa que você dissesse com um “sim e” para manter a conversa em andamento. Mostramos, em um papel, que nosso focinho era melhor em “sim, e-ing” do que outros bots na época, mas em IA, dois anos é história antiga.

Experimentei um diálogo com o ChatGPT - um cenário de exploração espacial de ficção científica - que não é diferente do que você encontraria em uma aula de improvisação típica. O ChatGPT é muito melhor em “sim, e-ing” do que nós, mas não aumentou o drama em nada. Eu senti como se estivesse fazendo todo o trabalho pesado.

Depois de alguns ajustes, consegui um pouco mais de envolvimento e, no final das contas, senti que era um exercício muito bom para mim, que não improvisava muito desde que me formei na faculdade, há mais de 20 anos. .

Claro, eu não gostaria que o ChatGPT aparecesse em “Whose Line Is It Anyway?” e este não é um ótimo enredo de “Jornada nas Estrelas” (embora ainda seja menos problemático do que “Código de honra”), mas quantas vezes você se sentou para escrever algo do zero e se viu apavorado com a página vazia à sua frente? Começar com um rascunho ruim pode quebrar o bloqueio do escritor e fazer a criatividade fluir, e o ChatGPT e modelos de linguagem grandes como ele parecem ser as ferramentas certas para ajudar nesses exercícios.

E para uma máquina projetada para produzir sequências de palavras que soem tão bem quanto possível em resposta às palavras que você lhe dá — e não para fornecer informações —, esse parece ser o uso certo para a ferramenta.

Este artigo foi republicado a partir de A Conversação sob uma licença Creative Commons. Leia o artigo original.

Crédito de imagem: Justin Ha / Unsplash