Bron: https://bdtechtalks.com/2021/07/15/openai-codex-ai-programming/

 

Een paar weken geleden verbaasde OpenAI de wereld van kunstmatige intelligentie (AI) met de release van Codex, een enorm model dat natuurlijke taal in code kan vertalen. Codex kan effectief end-to-end genereren uit basistaalinstructies. Als je me niet gelooft, moet je deze video bekijken, die kan worden beschouwd als een van de beste AI-demo's aller tijden 😉

Videokrediet: OpenAI

 

Er is veel geschreven over de mogelijkheden van Codex sinds de eerste lancering.

Ik ben echter meer geïntrigeerd door de kleine vereisten die ongelooflijk relevant worden om een ​​model van deze omvang te bouwen. Als ik diep in Codex duik, zijn er een paar interessante dingen die ik vond waarvan ik dacht dat het goed zou zijn om te benadrukken:

1. Codex is bedreven in ongeveer een dozijn talen, maar het is getraind voor Python

 
Ik vond dit ongelooflijk inzichtelijk. Het oorspronkelijke doel van OpenAI was om Codex vaardig te maken in Python, maar het blijkt dat het model andere talen heeft opgepikt tijdens het pre-trainingsproces. Dit spreekt tot de unieke mogelijkheden van vooraf getrainde taalmodellen.

2. Het testen van Codex's was meer dan lastig

 
De AI-gemeenschap stond versteld van het onderzoek achter Codex, maar ik denk dat de technische kant net zo indrukwekkend was. Een aspect waar ik vooral geïntrigeerd door was, was het testgedeelte. Hoe test je in vredesnaam live code zonder enorme risico's te nemen. Het blijkt dat het OpenAI-team heel veel werk heeft gestoken in het bouwen van zeer geavanceerde sandboxen om de output van Codex afzonderlijk te testen.

3. Het matchen van semantiek met code is verre van triviaal

 
Een model trainen in alle broncode ter wereld klinkt cool, maar het is verre van triviaal. Niet alle code is immers gelijk gemaakt. Code in Github kan slecht gedocumenteerd zijn, terwijl notebooks rijke semantische informatie kunnen hebben. Evenzo hebben codefragmenten in Stack Overflow rijkere niveaus van semantische informatie. Het toewijzen van codesecties aan taalsemantiek was een van de uitdagingen bij het bouwen van Codex.

4. Codex worstelt nog steeds met taakdecompositie

 
Als je bedenkt hoe programmeurs werken, hebben we de neiging om een ​​probleem op te splitsen in kleinere taken en daar code voor te produceren. Het blijkt dat Codex goed is in het laatste, maar nog steeds moeite heeft met het oplossen van problemen. Dit zou niet verwonderlijk moeten zijn als we denken dat probleemdecompositie zeer complexe cognitieve vaardigheden vereist.

5. Supervised Fine-Tuning was een groot deel van het bouwen van Codex

 
Code op internet verschijnt in allerlei niveaus van volledigheid, documentatie, syntactische rijkdom enz. Het trainen van een model in zo'n diverse codesets kan onbetrouwbare resultaten opleveren. In die zin moest OpenAI een enorme, gecontroleerde afstemmingsinspanning ondergaan.

 
Dit zijn enkele van de aspecten van Codex die niet super bekend zijn, maar die een grote bijdrage hebben geleverd aan het succes van de eerste versie van het model. Het succes van Codex was zowel te danken aan geavanceerd ML-onderzoek als aan enorme inspanningen op het gebied van ML-engineering en infrastructuur.

 
Bio: Jezus Rodriguez is momenteel CTO bij Intotheblock. Hij is een technologie-expert, uitvoerend investeerder en startup-adviseur. Jesus richtte Tellago op, een bekroond softwareontwikkelingsbedrijf dat bedrijven helpt om geweldige softwareorganisaties te worden door gebruik te maken van nieuwe trends op het gebied van bedrijfssoftware.

ORIGINELE. Met toestemming opnieuw gepost.

Zie ook:

• GitHub Copilot Open Source-alternatieven
• Jurassic-1 taalmodellen en AI21 Studio
• Een BERT-model vanaf nul trainen