Documenti di ricerca sugli agenti generativi che dovresti leggere – KDnuggets

Immagine di pikisuperstar on Freepik
 

Generative Agents è un termine coniato dai ricercatori dell'Università di Stanford e di Google nel loro articolo intitolato Agenti generativi: simulacri interattivi del comportamento umano (Parco et al., 2023). In questo articolo, la ricerca spiega che gli agenti generativi sono software computazionali che simulano in modo credibile il comportamento umano. 

Nell'articolo, introducono come gli agenti potrebbero agire come farebbero gli esseri umani: scrivere, cucinare, parlare, votare, dormire, ecc., implementando un modello generativo, in particolare il Large Language Model (LLM). Gli agenti possono mostrare la capacità di fare inferenze su se stessi, sugli altri agenti e sul loro ambiente sfruttando il modello del linguaggio naturale.

Il ricercatore costruisce un'architettura di sistema per archiviare, sintetizzare e applicare ricordi rilevanti per generare comportamenti credibili utilizzando un ampio modello linguistico, abilitando agenti generativi. Questo sistema è costituito da tre componenti, sono:

1. Flusso di memoria. Il sistema registra le esperienze dell'agente e costituisce un riferimento per le azioni future dell'agente.
2. Riflessione. Il sistema sintetizza l'esperienza in ricordi affinché un agente possa apprendere e ottenere prestazioni migliori.
3. Pianificazione. Il sistema traduce le informazioni del sistema precedente in piani d'azione di alto livello e consente all'agente di reagire all'ambiente. 

Queste riflessioni e sistemi di pianificazione lavorano in sinergia con il flusso di memoria per influenzare il comportamento futuro dell'agente. 

Per simulare il sistema di cui sopra, i ricercatori si concentrano sulla creazione di una società interattiva di agenti ispirata al gioco The Sims. L'architettura sopra è connessa con ChatGPT e mostra con successo 25 interazioni dell'agente all'interno della loro sandbox. Un esempio dell'attività dell'agente durante il giorno è mostrato nell'immagine seguente.

 

Attività e interazione dell'Agente Generativo durante la giornata (Park et al., 2023)
 

Tutto il codice per creare Agenti Generativi e simularli nella sandbox è già reso open source dai ricercatori, che potete trovare di seguito deposito. La direzione è abbastanza semplice da poterli seguire senza troppi problemi.

Poiché gli agenti generativi stanno diventando un campo entusiasmante, molte ricerche si stanno svolgendo sulla base di questo. In questo articolo, esploreremo vari documenti su Generative Agents che dovresti leggere. Cosa sono questi? Entriamo nel merito.

1. Agenti comunicativi per lo sviluppo di software

Il Documento sugli agenti comunicativi per lo sviluppo di software (Quan et al., 2023) è un nuovo approccio per rivoluzionare lo sviluppo software utilizzando gli agenti generativi. La premessa proposta dai ricercatori è come l'intero processo di sviluppo del software possa essere ottimizzato e unificato utilizzando la comunicazione in linguaggio naturale da Large Language Models (LLM). Le attività includono lo sviluppo del codice, la generazione dei documenti, l'analisi dei requisiti e molto altro.

I ricercatori sottolineano che generare un intero software utilizzando LLM comporta due sfide principali: allucinazioni e mancanza di interrogatorio nel processo decisionale. Per affrontare questi problemi, i ricercatori propongono un framework di sviluppo software basato su chat chiamato ChatDev.

Il framework ChatDev segue quattro fasi: progettazione, codifica, test e documentazione. In ogni fase, ChatDev stabiliva diversi agenti con vari ruoli, ad esempio revisori di codice, programmatori di software, ecc. Per garantire che la comunicazione tra gli agenti funzionasse senza intoppi, i ricercatori hanno sviluppato una catena di chat che divideva le fasi in sottoattività atomiche sequenziali. Ogni sottoattività implementerebbe la collaborazione e l'interazione tra gli agenti.

Il framework ChatDev è mostrato nell'immagine seguente.

 

Il framework ChatDev proposto (Quan et al., 2023)
 

I ricercatori eseguono vari esperimenti per misurare le prestazioni del framework ChatDev nello sviluppo di software. Usando gpt3.5-turbo-16k, di seguito sono riportate le prestazioni dell'esperimento sulle statistiche del software.

 

Le statistiche del software ChatDev Framework (Quan et al., 2023)
 

Il numero sopra è una metrica sull'analisi statistica relativa ai sistemi software generati da ChatDev. Ad esempio, vengono generate almeno 39 righe di codice, mentre il massimo è 359 codici. I ricercatori hanno inoltre dimostrato che l’86.66% dei sistemi software generati funzionavano correttamente.

È un ottimo documento che mostra il potenziale per cambiare il modo in cui lavorano gli sviluppatori. Leggi ulteriormente il documento per comprendere la completa implementazione di ChatDev. Il codice completo è disponibile anche nel ChatDev deposito.

2. AgentVerse: facilitare la collaborazione tra più agenti ed esplorare i comportamenti emergenti negli agenti

AgentVerse è un framework proposto nel documento di Chen et al.., 2023 simulare i gruppi di agenti tramite il Large Language Model per procedure dinamiche di risoluzione dei problemi all'interno del gruppo e adattamento dei membri del gruppo in base alla progressione. Questo studio esiste per risolvere la sfida delle dinamiche di gruppo statiche in cui l'agente autonomo non può adattarsi ed evolversi nella risoluzione dei problemi.

Il framework AgentVerse tenta di dividere il framework in quattro passaggi, tra cui: 

1. Reclutamento di esperti: la fase di adattamento degli agenti per allinearsi al problema e alla soluzione
2. Processo decisionale collaborativo: gli agenti discutono per formulare una soluzione e una strategia per risolvere il problema. 
3. Esecuzione dell'azione: gli agenti eseguono l'azione nell'ambiente in base alla decisione.
4. Valutazione: vengono valutate la condizione attuale e gli obiettivi. La ricompensa del feedback tornerà al primo passaggio se l'obiettivo deve ancora essere raggiunto.

La struttura complessiva di AgentVerse è mostrata nell'immagine seguente.

 

Quadro AgentVerse (Chen et al., 2023)
 

I ricercatori hanno sperimentato il framework e hanno confrontato il framework AgentVerse con la soluzione del singolo agente. Il risultato è presentato nell'immagine qui sotto.

 

Analisi delle prestazioni di AgentVerse (Chen et al., 2023)
 

Il framework AgentVerse può generalmente sovraperformare i singoli agenti in tutte le attività presentate. Ciò dimostra che gli agenti generativi potrebbero funzionare meglio dei singoli agenti che cercano di risolvere i problemi. Potresti provare il framework attraverso il loro deposito.

3. AgentSims: un sandbox open source per la valutazione di modelli linguistici di grandi dimensioni

La valutazione delle capacità degli LLM è ancora una questione aperta all'interno della comunità e dei settori. Tre punti che limitano la capacità di valutare correttamente l'LLM sono capacità di valutazione limitate in base ai compiti, benchmark vulnerabili e metriche non oggettive. Per gestire questi problemi, Lin et al., 2023 hanno proposto una valutazione basata su attività come punto di riferimento LLM nel loro articolo. Questo approccio sperava di diventare uno standard nella valutazione dei lavori del LLM in quanto potrebbe alleviare tutti i problemi sollevati. Per raggiungere questo obiettivo, i ricercatori introducono un framework chiamato AgentSims.

AgentSims è un programma con infrastruttura interattiva e di visualizzazione per curare attività di valutazione per LLM. L'obiettivo generale di AgentSims è fornire a ricercatori ed esperti una piattaforma per semplificare il processo di progettazione delle attività e utilizzarli come strumento di valutazione. Il front-end di AgentSims è presentato nell'immagine seguente.

 

Front-end di AgentSims (Lin et al., 2023)
 

Poiché l'obiettivo di AgentSims sono tutti coloro che richiedono una valutazione LLM in modi più semplici, i ricercatori hanno sviluppato il front-end in cui possiamo interagire con l'interfaccia utente. Puoi anche provare la demo completa su loro sito web o accedi al codice completo in AgentSims deposito.

Gli agenti generativi sono un approccio recente negli LLM per simulare comportamenti umani. L'ultima ricerca di Park et al., il 2023 ha mostrato una grande possibilità di ciò che gli Agenti Generativi potrebbero fare. Ecco perché sono comparsi molti tipi di ricerca basati sugli Agenti Generativi che hanno aperto molte nuove porte.

In questo articolo abbiamo parlato di tre diverse ricerche sugli agenti generativi, tra cui:

1. Documento sugli agenti comunicativi per lo sviluppo software (Quan et al., 2023)
2. AgentVerse: facilitare la collaborazione tra più agenti ed esplorare i comportamenti emergenti negli agenti (Chen et al.., 2023)

3. AgentSims: un sandbox open source per la valutazione di modelli linguistici di grandi dimensioni (Lin et al., 2023)
 
 
Cornellio Yudha Wijaya è un assistente manager di data science e scrittore di dati. Mentre lavora a tempo pieno presso Allianz Indonesia, ama condividere suggerimenti su Python e dati tramite social media e mezzi di scrittura.
 

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://www.kdnuggets.com/generative-agent-research-papers-you-should-read?utm_source=rss&utm_medium=rss&utm_campaign=generative-agent-research-papers-you-should-read