kilde: https://bdtechtalks.com/2021/07/15/openai-codex-ai-programming/

 

For et par uker siden overrasket OpenAI verden med kunstig intelligens (AI) med utgivelsen av Codex, en massiv modell som kan oversette naturlig språk til kode. Codex kan effektivt generere ende til ende fra grunnleggende språkinstruksjoner. Hvis du ikke tror meg, bør du se denne videoen som kan betraktes som en av tidenes beste AI-demoer 😉

Videokreditt: OpenAI

 

Det har blitt skrevet mye om Codex sine evner siden den første lanseringen.

Jeg har imidlertid blitt mer fascinert av de små kravene som blir utrolig relevante for å bygge en modell av denne størrelsesorden. Når jeg dypdykker inn i Codex, er det et par interessante ting jeg fant ut som jeg tenkte var greit å fremheve:

1. Codex er dyktig i omtrent et dusin språk, men den ble trent for Python

 
Jeg fant dette utrolig innsiktsfullt. Det opprinnelige målet med OpenAI var å gjøre Codex dyktig i Python, men det viser seg at modellen plukket opp andre språk under foropplæringsprosessen. Dette taler til de unike egenskapene til språkfortrente modeller.

2. Det var mer enn vanskelig å teste Codex

 
AI-fellesskapet har blitt overrasket over forskningen bak Codex, men jeg synes ingeniørsiden har vært like imponerende. Et aspekt som jeg var spesielt interessert i var testdelen. Hvordan i all verden tester du live-kode uten å ta store risikoer. Det viser seg at OpenAI-teamet har lagt mye arbeid i å bygge svært sofistikerte sandkasser for å teste utdataene fra Codex isolert.

3. Å matche semantikk til kode er langt fra trivielt

 
Å trene en modell i all kildekoden i verden høres kult ut, men det er langt fra trivielt. Tross alt er ikke all kode skapt like. Kode i Github kan være dårlig dokumentert mens notatbøker kan ha rik semantisk informasjon. På samme måte har kodebiter i Stack Overflow rikere nivåer av semantisk informasjon. Å kartlegge kodeseksjoner til språksemantikk var en av utfordringene med å bygge Codex.

4. Codex sliter fortsatt med oppgavenedbrytning

 
Hvis du tenker på hvordan programmerere fungerer, har vi en tendens til å dekomponere et problem i mindre oppgaver og produsere kode for dem. Det viser seg at Codex er gode på det siste, men sliter fortsatt med problemnedbrytingsoppgaver. Dette burde ikke være overraskende hvis vi tror at problemnedbrytning krever svært komplekse kognitive ferdigheter.

5. Overvåket finjustering var en stor del av byggingen av Codex

 
Kode på internett dukker opp på alle mulige nivåer av fullstendighet, dokumentasjon, syntaktisk rikdom osv. Trening av en modell i så forskjellige kodesett kan gi upålitelige resultater. I den forstand måtte OpenAI gjennomgå en massiv overvåket finjusteringsinnsats.

 
Dette er noen av aspektene ved Codex som ikke er superkjente, men som har vært viktige bidragsytere til suksessen til den første versjonen av modellen. Codex-suksessen skyldtes både avansert ML-forskning som en massiv ML-ingeniør- og infrastrukturinnsats.

 
Bio: jesus rodriguez er for tiden CTO hos Intotheblock. Han er en teknologiekspert, utøvende investor og oppstartsrådgiver. Jesus grunnla Tellago, et prisvinnende programvareutviklingsfirma som fokuserte på å hjelpe selskaper til å bli gode programvareorganisasjoner ved å utnytte nye programvaretrender for bedrifter.

original. Ompostet med tillatelse.

Relatert:

• GitHub Copilot -alternativer for åpen kildekode
• Jurassic-1 Language Models og AI21 Studio
• Hvordan trene en BERT -modell fra bunnen av