Artigos de pesquisa de agente generativo que você deve ler - KDnuggets

Republicado por Platão

seguidores: 0

Artigos de pesquisa de agentes generativos que você deve ler
Imagem por piki superstar on Freepik

Agentes Gerativos é um termo cunhado pela Universidade de Stanford e por pesquisadores do Google em seu artigo chamado Agentes Geradores: Simulacros Interativos do Comportamento Humano (Parque et al., 2023). Neste artigo, a pesquisa explica que Agentes Geradores são softwares computacionais que simulam de forma confiável o comportamento humano.

No artigo, eles apresentam como os agentes poderiam agir como os humanos fariam: escrever, cozinhar, falar, votar, dormir, etc., através da implementação de um modelo generativo, especialmente o Large Language Model (LLM). Os agentes podem mostrar a capacidade de fazer inferências sobre si mesmos, outros agentes e seu ambiente, aproveitando o modelo de linguagem natural.

O pesquisador constrói uma arquitetura de sistema para armazenar, sintetizar e aplicar memórias relevantes para gerar comportamento verossímil usando um grande modelo de linguagem, habilitando agentes generativos. Este sistema é constituído por três componentes, são eles:

Fluxo de memória. O sistema registra as experiências do agente e é uma referência para as ações futuras do agente.
Reflexão. O sistema sintetiza a experiência em memórias para que um agente aprenda e tenha um melhor desempenho.
Planeamento. O sistema traduz o insight do sistema anterior em planos de ação de alto nível e permite que o agente reaja ao ambiente.

Essas reflexões e sistemas de planejamento funcionam sinergicamente com o fluxo de memória para influenciar o comportamento futuro do agente.

Para simular o sistema acima, os pesquisadores se concentram na criação de uma sociedade interativa de agentes inspirada no jogo Sims. A arquitetura acima está conectada ao ChatGPT e mostra com sucesso 25 interações de agentes em sua sandbox. Um exemplo da atividade do agente ao longo do dia é mostrado na imagem abaixo.

Artigos de pesquisa de agentes generativos que você deve ler
Atividade e interação do Agente Gerativo ao longo do dia (Parque et al., 2023)

Todo o código para criar Agentes Generativos e simulá-los no sandbox já é open source pelos pesquisadores, que você encontra a seguir repositório. A direção é simples o suficiente para que você possa segui-las sem muitos problemas.

Com os Agentes Geradores se tornando um campo interessante, muitas pesquisas estão acontecendo com base nisso. Neste artigo, exploraremos vários artigos sobre Agentes Geradores que você deve ler. Quem são esses? Vamos entrar no assunto.

1. Agentes Comunicativos para Desenvolvimento de Software

A Artigo Agentes Comunicativos para Desenvolvimento de Software (Quan et ai., 2023) é uma nova abordagem para revolucionar o desenvolvimento de software usando Agentes Geradores. A premissa que os pesquisadores propõem é como todo o processo de desenvolvimento de software poderia ser simplificado e unificado usando a comunicação em linguagem natural de Large Language Models (LLM). As tarefas incluem desenvolvimento de código, geração de documentos, análise de requisitos e muito mais.

Os pesquisadores destacam que gerar um software inteiro usando LLM apresenta dois grandes desafios: alucinação e falta de interrogatório na tomada de decisões. Para resolver esses problemas, os pesquisadores propõem uma estrutura de desenvolvimento de software baseada em chat chamada ChatDev.

A estrutura ChatDev segue quatro fases: design, codificação, teste e documentação. Em cada fase, o ChatDev estabeleceria vários agentes com diversas funções, por exemplo, revisores de código, programadores de software, etc. Para garantir que a comunicação entre os agentes ocorresse sem problemas, os pesquisadores desenvolveram uma cadeia de chat que dividiu as fases em subtarefas atômicas sequenciais. Cada subtarefa implementaria colaboração e interação entre os agentes.

A estrutura ChatDev é mostrada na imagem abaixo.

Artigos de pesquisa de agentes generativos que você deve ler
A estrutura ChatDev proposta (Quan et ai., 2023)

Os pesquisadores realizam vários experimentos para medir o desempenho da estrutura ChatDev no desenvolvimento de software. Usando gpt3.5-turbo-16k, abaixo está o desempenho do experimento de estatísticas de software.

Artigos de pesquisa de agentes generativos que você deve ler
As estatísticas de software da estrutura ChatDev (Quan et ai., 2023)

O número acima é uma métrica de análise estatística dos sistemas de software gerados pelo ChatDev. Por exemplo, são geradas no mínimo 39 linhas de código, sendo o máximo 359 códigos. Os pesquisadores também mostraram que 86.66% dos sistemas de software gerados funcionaram corretamente.

É um ótimo artigo que mostra o potencial para mudar a forma como os desenvolvedores trabalham. Leia mais o artigo para entender a implementação completa do ChatDev. O código completo também está disponível no ChatDev repositório.

2. AgentVerse: facilitando a colaboração multiagente e explorando comportamentos emergentes em agentes

AgentVerse é uma estrutura proposta no artigo por Chen e outros., 2023 simular os grupos de agentes através do Large Language Model para procedimentos dinâmicos de resolução de problemas dentro do grupo e ajuste dos membros do grupo com base na progressão. Este estudo existe para resolver o desafio da dinâmica de grupo estática onde o agente autônomo não consegue se adaptar e evoluir na resolução de problemas.

A estrutura AgentVerse tenta dividir a estrutura em quatro etapas, incluindo:

Recrutamento de especialistas: a fase de ajuste para que os agentes se alinhem com o problema e a solução
Tomada de decisão colaborativa: Os agentes discutem para formular uma solução e estratégia para resolver o problema.
Execução de Ação: Os agentes executam ações no ambiente com base na decisão.
Avaliação: A condição atual e as metas são avaliadas. A recompensa de feedback retornará à primeira etapa se a meta ainda precisar ser alcançada.

A estrutura geral do AgentVerse é mostrada na imagem abaixo.

Artigos de pesquisa de agentes generativos que você deve ler
Estrutura AgentVerse (Chen et ai., 2023)

Os pesquisadores experimentaram a estrutura e compararam a estrutura AgentVerse com a solução do agente individual. O resultado é apresentado na imagem abaixo.

Artigos de pesquisa de agentes generativos que você deve ler
Análise de desempenho do AgentVerse (Chen et ai., 2023)

A estrutura AgentVerse geralmente pode superar agentes individuais em todas as tarefas apresentadas. Isto prova que os agentes generativos podem ter um desempenho melhor do que os agentes individuais que tentam resolver problemas. Você poderia experimentar a estrutura através de seus repositório.

3. AgentSims: um sandbox de código aberto para avaliação de modelos de linguagem grande

Avaliar a capacidade dos LLMs ainda é uma questão em aberto na comunidade e nas áreas. Três pontos que limitam a capacidade de avaliar o LLM adequadamente são as capacidades limitadas de avaliação pelas tarefas, benchmarks vulneráveis e métricas não objetivas. Para lidar com esses problemas, Lin et ai., 2023 propuseram uma avaliação baseada em tarefas como referência do LLM em seu artigo. Esta abordagem esperava tornar-se padrão na avaliação dos trabalhos do LLM, pois poderia aliviar todos os problemas levantados. Para conseguir isso, os pesquisadores introduzem uma estrutura chamada AgentSims.

AgentSims é um programa com infraestrutura interativa e de visualização para curadoria de tarefas de avaliação para LLMs. O objetivo geral do AgentSims é fornecer aos pesquisadores e especialistas uma plataforma para agilizar o processo de design de tarefas e usá-las como uma ferramenta de avaliação. O front end do AgentSims é apresentado na imagem abaixo.

Artigos de pesquisa de agentes generativos que você deve ler
Front-end do AgentSims (Lin et ai., 2023)

Como o alvo dos AgentSims são todos que necessitam de avaliação LLM de forma mais fácil, os pesquisadores desenvolveram o front end onde podemos interagir com a UI. Você também pode experimentar a demonstração completa em seu site do Network Development Group ou acesse o código completo no AgentSims repositório.

Agentes Geradores são uma abordagem recente nos LLMs para simular comportamentos humanos. A última pesquisa de Park et al., 2023 mostrou uma grande possibilidade do que os Agentes Geradores poderiam fazer. É por isso que muitos tipos de pesquisas baseadas em Agentes Geradores têm aparecido e aberto muitas novas portas.

Neste artigo, falamos sobre três pesquisas diferentes de Agentes Geradores, incluindo:

Artigo Agentes Comunicativos para Desenvolvimento de Software (Quan et ai., 2023)
AgentVerse: facilitando a colaboração multiagente e explorando comportamentos emergentes em agentes (Chen e outros., 2023)

3. AgentSims: um sandbox de código aberto para avaliação de modelos de linguagem grande (Lin et ai., 2023)

Cornélio Yudha Wijaya é gerente assistente de ciência de dados e redator de dados. Enquanto trabalhava em período integral na Allianz Indonésia, ele adora compartilhar dicas sobre Python e dados nas mídias sociais e na mídia escrita.