Fonte: https://bdtechtalks.com/2021/07/15/openai-codex-ai-programming/

 

Un paio di settimane fa, OpenAI ha stupito il mondo dell'intelligenza artificiale (AI) con il rilascio di Codex, un enorme modello in grado di tradurre il linguaggio naturale in codice. Codex può generare efficacemente end-to-end dalle istruzioni linguistiche di base. Se non mi credi, dovresti guardare questo video che può essere considerato uno dei migliori demo AI di tutti i tempi 😉

Credito video: OpenAI

 

Molto è stato scritto sulle capacità del Codex dal suo lancio iniziale.

Tuttavia, sono stato più incuriosito dai piccoli requisiti che diventano incredibilmente rilevanti per costruire un modello di questa portata. Approfondendo il Codex, ci sono alcune cose interessanti che ho trovato che sarebbe stato utile evidenziare:

1. Codex è esperto in circa una dozzina di lingue ma è stato addestrato per Python

 
Ho trovato questo incredibilmente perspicace. L'obiettivo originale di OpenAI era rendere il Codex esperto in Python, ma si scopre che il modello ha raccolto altri linguaggi durante il processo di pre-addestramento. Questo parla delle capacità uniche dei modelli linguistici pre-addestrati.

2. Testare il Codex è stato più che complicato

 
La comunità di intelligenza artificiale è rimasta stupita dalla ricerca alla base del Codex, ma penso che il lato ingegneristico sia stato altrettanto impressionante. Un aspetto che mi ha particolarmente incuriosito è stata la parte di test. Come si fa a testare il codice live senza correre rischi enormi. Si scopre che il team di OpenAI ha lavorato molto per creare sandbox molto sofisticati per testare gli output del Codex in isolamento.

3. Abbinare la semantica al codice è tutt'altro che banale

 
Addestrare un modello in tutto il codice sorgente del mondo suona bene ma è tutt'altro che banale. Dopotutto, non tutto il codice è uguale. Il codice in Github può essere scarsamente documentato mentre i notebook possono avere ricche informazioni semantiche. Allo stesso modo, i frammenti di codice in Stack Overflow hanno livelli più ricchi di informazioni semantiche. La mappatura delle sezioni di codice alla semantica del linguaggio è stata una delle sfide della creazione del Codex.

4. Il Codex lotta ancora con la scomposizione dei compiti

 
Se pensi a come funzionano i programmatori, tendiamo a scomporre un problema in attività più piccole e a produrre codice per quelle. Si scopre che Codex è eccezionale in quest'ultimo, ma fa ancora fatica nei compiti di scomposizione dei problemi. Questo non dovrebbe sorprendere se pensiamo che la scomposizione del problema richiede abilità cognitive molto complesse.

5. La messa a punto supervisionata è stata una parte importante della costruzione del Codex

 
Il codice in Internet appare in tutti i tipi di livelli di completezza, documentazione, ricchezza sintattica, ecc. L'addestramento di un modello in insiemi di codici così diversi può produrre risultati inaffidabili. In questo senso OpenAI ha dovuto subire un enorme sforzo di messa a punto supervisionato.

 
Questi sono alcuni degli aspetti del Codex che non sono molto conosciuti ma che hanno contribuito maggiormente al successo della prima versione del modello. Il successo del Codex è dovuto sia alla ricerca avanzata sul machine learning che a enormi sforzi di ingegneria e infrastruttura del machine learning.

 
Bio: Gesù Rodriguez è attualmente CTO presso Intotheblock. È un esperto di tecnologia, investitore esecutivo e consulente di startup. Jesus ha fondato Tellago, una pluripremiata società di sviluppo software focalizzata nell'aiutare le aziende a diventare grandi organizzazioni di software sfruttando le nuove tendenze del software aziendale.

Originale. Ripubblicato con il permesso.

Correlato:

• Alternative open source di GitHub Copilot
• Jurassic-1 Language Models e AI21 Studio
• Come addestrare un modello BERT da zero?