Sursa: https://bdtechtalks.com/2021/07/15/openai-codex-ai-programming/

 

În urmă cu câteva săptămâni, OpenAI a uimit lumea inteligenței artificiale (AI) cu lansarea Codex, un model masiv care poate traduce limbajul natural în cod. Codex poate genera efectiv de la capăt la capăt din instrucțiunile de bază ale limbajului. Dacă nu mă credeți, ar trebui să vizionați acest videoclip care poate fi considerat unul dintre cele mai bune demonstrații AI din toate timpurile 😉

Credit video: OpenAI

 

S-au scris multe despre capacitățile Codex de la lansarea sa inițială.

Cu toate acestea, am fost mai intrigat de cerințele mici care devin incredibil de relevante pentru a construi un model de această amploare. Scufundându-mă adânc în Codex, există câteva lucruri interesante pe care le-am găsit pe care ar fi bine să le evidențiez:

1. Codex este priceput în aproximativ o duzină de limbi, dar a fost antrenat pentru Python

 
Am găsit asta incredibil de perspicace. Scopul inițial al OpenAI a fost de a face Codex să fie competent în Python, dar se dovedește că modelul a preluat alte limbi în timpul procesului de preinstruire. Acest lucru vorbește despre capacitățile unice ale modelelor de limbaj preantrenați.

2. Testarea Codex-ului a fost mai mult decât dificilă

 
Comunitatea AI a fost uimită de cercetările din spatele Codex, dar cred că partea de inginerie a fost la fel de impresionantă. Un aspect de care am fost deosebit de intrigat a fost partea de testare. Cum dracu să testezi codul live fără să-ți asumi riscuri masive. Se pare că echipa OpenAI a muncit mult la construirea unor sandbox-uri foarte sofisticate pentru a testa ieșirile de la Codex în mod izolat.

3. Potrivirea semantică cu codul este departe de a fi banală

 
Antrenarea unui model în tot codul sursă din lume sună mișto, dar nu este nici pe departe banal. La urma urmei, nu tot codul este creat egal. Codul din Github poate fi prost documentat, în timp ce caietele pot avea informații semantice bogate. În mod similar, fragmentele de cod din Stack Overflow au niveluri mai bogate de informații semantice. Maparea secțiunilor de cod cu semantica limbajului a fost una dintre provocările construirii Codexului.

4. Codex încă se luptă cu descompunerea sarcinilor

 
Dacă vă gândiți cum funcționează programatorii, avem tendința de a descompune o problemă în sarcini mai mici și de a produce cod pentru acestea. Se pare că Codex este grozav la ultimul, dar încă se luptă în sarcinile de descompunere a problemelor. Acest lucru nu ar trebui să fie surprinzător dacă credem că descompunerea problemei necesită abilități cognitive foarte complexe.

5. Reglajul fin supravegheat a fost o parte importantă a construirii Codexului

 
Codul de pe internet apare în tot felul de niveluri de completitudine, documentare, bogăție sintactică etc. Formarea unui model într-un astfel de set de coduri divers poate produce rezultate nesigure. În acest sens, OpenAI a trebuit să facă obiectul unui efort masiv de reglare fină supravegheată.

 
Acestea sunt câteva dintre aspectele despre Codex care nu sunt foarte cunoscute, dar care au contribuit major la succesul primei versiuni a modelului. Succesul Codex s-a datorat atât cercetării avansate ML, cât și eforturilor masive de inginerie ML și infrastructură.

 
Bio: Isus Rodriguez este în prezent CTO la Intotheblock. Este expert în tehnologie, investitor executiv și consilier de startup. Jesus a fondat Tellago, o firmă premiată de dezvoltare de software axată pe ajutarea companiilor să devină mari organizații de software prin valorificarea noilor tendințe de software pentru întreprinderi.

Original. Repostat cu permisiunea.

Related:

• Alternative GitHub Copilot Open Source
• Jurassic-1 Modele de limbă și AI21 Studio
• Cum să antrenezi un model BERT de la zero