Kilde: https://bdtechtalks.com/2021/07/15/openai-codex-ai-programming/

 

For et par uger siden overraskede OpenAI verden med kunstig intelligens (AI) med udgivelsen af ​​Codex, en massiv model, der kan oversætte naturligt sprog til kode. Codex kan effektivt generere ende til ende fra grundlæggende sproginstruktioner. Hvis du ikke tror mig, bør du se denne video, som kan betragtes som en af ​​de bedste AI-demoer nogensinde 😉

Videokredit: OpenAI

 

Der er skrevet meget om Codex's muligheder siden den første lancering.

Jeg har dog været mere fascineret af de små krav, der bliver utroligt relevante for at bygge en model i denne størrelsesorden. Når jeg dykker ned i Codex, er der et par interessante ting, jeg fandt, som jeg syntes ville være gode at fremhæve:

1. Codex er dygtig til omkring et dusin sprog, men det blev trænet til Python

 
Jeg fandt dette utroligt indsigtsfuldt. Det oprindelige mål med OpenAI var at gøre Codex dygtig til Python, men det viser sig, at modellen opfangede andre sprog under fortræningsprocessen. Dette taler til de unikke egenskaber ved sproglige fortrænede modeller.

2. Det var mere end vanskeligt at teste Codex'er

 
AI-samfundet er blevet forbløffet over forskningen bag Codex, men jeg synes, at ingeniørsiden har været lige så imponerende. Et aspekt, som jeg var særligt fascineret af, var testdelen. Hvordan i alverden tester du live-kode uden at tage store risici. Det viser sig, at OpenAI-teamet har lagt et væld af arbejde på at bygge meget sofistikerede sandkasser for at teste output fra Codex isoleret.

3. At matche semantik med kode er langt fra trivielt

 
At træne en model i al kildekoden i verden lyder fedt, men det er langt fra trivielt. Det er jo ikke al kode, der er skabt lige. Kode i Github kan være dårligt dokumenteret, mens notesbøger kan have rig semantisk information. På samme måde har kodestykker i Stack Overflow rigere niveauer af semantisk information. At kortlægge kodesektioner til sprogsemantik var en af ​​udfordringerne ved at bygge Codex.

4. Codex kæmper stadig med opgavenedbrydning

 
Hvis du tænker på, hvordan programmører arbejder, har vi en tendens til at dekomponere et problem i mindre opgaver og producere kode til dem. Det viser sig, at Codex er fantastisk til sidstnævnte, men stadig kæmper med problemnedbrydningsopgaver. Dette burde ikke være overraskende, hvis vi tror, ​​at problemnedbrydning kræver meget komplekse kognitive færdigheder.

5. Supervised Fine-Tuning var en stor del af opbygningen af ​​Codex

 
Kode på internettet optræder i alle mulige niveauer af fuldstændighed, dokumentation, syntaktisk rigdom osv. Træning af en model i så forskelligartede kodesæt kan give upålidelige resultater. I den forstand måtte OpenAI gennemgå en massiv overvåget finjusteringsindsats.

 
Dette er nogle af aspekterne ved Codex, som ikke er superkendte, men som har været væsentlige bidragydere til succesen med den første version af modellen. Codex succes skyldtes både avanceret ML-forskning som en massiv ML-ingeniør- og infrastrukturindsats.

 
Bio: jesus rodriguez er i øjeblikket CTO hos Intotheblock. Han er teknologiekspert, executive investor og startup-rådgiver. Jesus grundlagde Tellago, et prisvindende softwareudviklingsfirma med fokus på at hjælpe virksomheder med at blive fantastiske softwareorganisationer ved at udnytte nye virksomhedssoftwaretrends.

Original. Genopslået med tilladelse.

Relateret:

• GitHub Copilot Open Source-alternativer
• Jurassic-1 sprogmodeller og AI21 Studio
• Sådan træner du en BERT-model fra bunden