Kaynak: https://bdtechtalks.com/2021/07/15/openai-codex-ai-programming/

 

Birkaç hafta önce OpenAI, doğal dili koda çevirebilen devasa bir model olan Codex'in piyasaya sürülmesiyle yapay zeka (AI) dünyasını şaşırttı. Codex, temel dil talimatlarından uçtan uca etkili bir şekilde üretebilir. Bana inanmıyorsanız tüm zamanların en iyi AI demolarından biri sayılabilecek bu videoyu izlemelisiniz 😉

Video Kredisi: OpenAI

 

İlk lansmanından bu yana Codex'in yetenekleri hakkında çok şey yazıldı.

Ancak, bu büyüklükte bir model oluşturmak için inanılmaz derecede alakalı hale gelen küçük gereksinimler daha çok ilgimi çekti. Codex'e derinlemesine dalınca, altını çizmenin iyi olacağını düşündüğüm birkaç ilginç şey var:

1. Codex yaklaşık bir düzine dilde yetkindir ancak Python için eğitilmiştir.

 
Bunu inanılmaz derecede anlayışlı buldum. OpenAI'nin asıl amacı, Codex'i Python'da yetkin kılmaktı, ancak modelin ön eğitim sürecinde diğer dilleri de aldığı ortaya çıktı. Bu, önceden eğitilmiş dil modellerinin benzersiz yetenekleriyle ilgilidir.

2. Codex'leri test etmek zor olmaktan da öteydi

 
AI topluluğu, Codex'in arkasındaki araştırmaya hayran kaldı, ancak mühendislik tarafının da bir o kadar etkileyici olduğunu düşünüyorum. Özellikle ilgimi çeken bir yönü test kısmıydı. Büyük riskler almadan canlı kodu nasıl test edersiniz? OpenAI ekibinin, Codex'ten elde edilen çıktıları izole bir şekilde test etmek için çok karmaşık sanal alanlar oluşturmak için bir ton iş koyduğu ortaya çıktı.

3. Anlambilimi kodla eşleştirmek önemsiz olmaktan uzaktır

 
Bir modeli dünyadaki tüm kaynak kodlarında eğitmek kulağa hoş geliyor ama önemsiz değil. Sonuçta, tüm kodlar eşit oluşturulmaz. Github'daki kodlar yetersiz belgelenebilirken, defterler zengin anlamsal bilgilere sahip olabilir. Benzer şekilde, Stack Overflow'daki kod parçacıkları daha zengin semantik bilgi düzeylerine sahiptir. Kod bölümlerini dil semantiğiyle eşleştirmek, Codex oluşturmanın zorluklarından biriydi.

4. Codex hala görev ayrıştırmayla uğraşıyor

 
Programcıların nasıl çalıştığını düşünürseniz, bir sorunu daha küçük görevlere ayırma ve bunlar için kod üretme eğilimindeyiz. Codex'in ikincisinde harika olduğu, ancak sorun ayrıştırma görevlerinde hala mücadele ettiği ortaya çıktı. Problem ayrıştırmanın çok karmaşık bilişsel beceriler gerektirdiğini düşünürsek, bu şaşırtıcı olmamalıdır.

5. Denetimli İnce Ayar, Codex'i oluşturmanın büyük bir parçasıydı

 
İnternetteki kodlar her türlü eksiksizlik, dokümantasyon, sözdizimsel zenginlik vb. düzeylerde görünür. Bir modeli bu kadar çeşitli kod kümelerinde eğitmek güvenilmez sonuçlar doğurabilir. Bu anlamda OpenAI, büyük bir denetimli ince ayar çabasından geçmek zorunda kaldı.

 
Bunlar, Codex'in çok iyi bilinmeyen, ancak modelin ilk versiyonunun başarısına büyük katkıda bulunan bazı yönlerdir. Codex'in başarısı, hem büyük bir makine öğrenimi mühendisliği hem de altyapı çalışmaları olarak gelişmiş makine öğrenimi araştırmalarından kaynaklandı.

 
Bio: İsa Rodriguez şu anda Intotheblock'ta CTO'dur. O bir teknoloji uzmanı, yönetici yatırımcı ve başlangıç ​​danışmanıdır. İsa, şirketlerin yeni kurumsal yazılım trendlerinden yararlanarak harika yazılım organizasyonları olmalarına yardımcı olmaya odaklanan ödüllü bir yazılım geliştirme şirketi olan Tellago'yu kurdu.

orijinal. İzinle yeniden yayınlandı.

İlgili:

• GitHub Yardımcı Pilot Açık Kaynak Alternatifleri
• Jurassic-1 Dil Modelleri ve AI21 Studio
• Bir BERT Modelini Sıfırdan Nasıl Eğitirsiniz?