Açık sinir ağları: AI ve web3'ün kesişimi

Rishin Sharma ve Jake Brukhman tarafından.

Nick Yakovenko, David Pakman, Jan Coppens, AC, Evan Feng, Adi Sideman dahil olmak üzere bu eserle ilgili geri bildirimde bulunan herkese özel teşekkürler.

Kaynak: Kararlı bir yaygınlaştırma arama motoru olan Lexica.art'tan yapay zeka tarafından oluşturulan görsel

Teknolojik inovasyon asla durmaz ve bu özellikle yapay zeka için geçerlidir. Geçtiğimiz birkaç yılda, yapay zekanın öncüsü olarak derin öğrenme modellerinin popülaritesinin yeniden ortaya çıktığını gördük. Ayrıca şu şekilde de anılır: nöral ağlarBu modeller, kabaca insan beyninin yapısını taklit ederek, birbirlerinden bilgi aktaran yoğun şekilde birbirine bağlı düğüm katmanlarından oluşur. 2010'ların başlarında, en gelişmiş modellerde milyonlarca parametre vardı ve yoğun biçimde denetlenen modeller, belirli duygu analizi ve sınıflandırma için kullanılıyordu. Günümüzün en gelişmiş modelleri gibi Rüya Stüdyosu, GPT 3, DALL-E2, ve Görüntü bir trilyon parametreye yaklaşıyor ve insan çalışmasına rakip olabilecek karmaşık ve hatta yaratıcı görevleri başarıyorlar. Örneğin bu blog yazısının başlık görselini veya özetini ele alalım. Her ikisi de yapay zeka tarafından üretildi. Yeni şeyler öğrenme şeklimizi, birbirimizle etkileşimimizi ve kendimizi yaratıcı bir şekilde ifade etme şeklimizi şekillendiren bu modellerin sosyal ve kültürel sonuçlarını yeni yeni görmeye başlıyoruz.

Ancak günümüzde büyük sinir ağlarını eğitmeye yönelik teknik bilgi birikiminin, önemli veri kümelerinin ve hesaplama yeteneğinin çoğu kapalı kaynaktır ve Google ve Meta gibi "Büyük Teknoloji" şirketleri tarafından kontrol edilmektedir. Çoğaltma açık kaynak modelleri gibi GPT-NeoX, DALLE-mega, ve ÇİÇEK AÇMAK dahil olmak üzere kuruluşların öncülüğünde olmuştur. KararlılıkAI, Eleuther AI, ve SarılmaYüzweb3, açık kaynaklı yapay zekayı daha da güçlendirmeye hazırlanıyor.

“Yapay zekaya yönelik bir web3 altyapı katmanı, bu yeni teknolojilerin geliştirilmesinde yeni modeller ve verimlilikler yaratan açık kaynak geliştirme, topluluk sahipliği ve yönetişim ile evrensel erişim unsurlarını tanıtabilir.başlıklı bir kılavuz yayınladı

Ayrıca web3'e yönelik birçok kritik kullanım durumu, yapay zeka teknolojilerinin benimsenmesiyle geliştirilecektir. İtibaren üretken sanat NFT'leri Yapay zeka, metaversal manzaralara kadar web3'te birçok kullanım örneği bulacaktır. Açık kaynaklı yapay zeka, web3'ün açık, merkezi olmayan ve demokratikleştirilmiş değerlerine uyum sağlar ve Big Tech tarafından sağlanan ve yakın zamanda açılması muhtemel olmayan yapay zekaya bir alternatifi temsil eder.

temel modelleri Normalde akıllı insan davranışı gerektiren görevleri gerçekleştirmek için kapsamlı veri kümeleri üzerinde eğitilmiş sinir ağlarıdır. Bu modeller bazı etkileyici sonuçlar yarattı.

OpenAI'ler gibi dil modelleri GPT 3, Google'ın LaMDA'sı, ve Nvidia'nın Megatron-Turing NLG'si doğal dili anlama ve üretme, metni özetleme ve sentezleme ve hatta bilgisayar kodu yaz.

DALLE-2 OpenAI'nin ürünüdür metinden görüntüye yayılma modeli yazılı metinden benzersiz görüntüler üretebilen. Google'ın yapay zeka bölümü DeepMind, 540B parametreli dil modeli PaLM ve DrawBench ve COCO FID Benchmark'larında DALLE-2'den daha iyi performans gösteren kendi görüntü oluşturma modeli Imagen dahil olmak üzere rakip modeller üretti. Imagen özellikle daha fotogerçekçi sonuçlar üretiyor ve heceleme yeteneğine sahip.

Google'ınki gibi takviyeli öğrenme modelleri AlphaGo yendi insan Go dünya şampiyonu Oyunun üç bin yıllık tarihinde ortaya çıkmamış yeni stratejiler ve oyun teknikleri keşfederken.

Karmaşık temel modelleri oluşturma yarışı, Big Tech'in yenilikçiliğin ön saflarında yer almasıyla zaten başladı. Alanın ilerlemesi ne kadar heyecan verici olsa da, endişe yaratan önemli bir tema da var.

Geçtiğimiz on yılda yapay zeka modelleri daha karmaşık hale geldikçe, giderek daha fazla kamuya kapalı hale geldi.

Teknoloji devleri, model eğitimi ve hesaplamaya yönelik ölçek ekonomisi avantajları sayesinde rekabet güçlerini korurken, bu tür modellerin üretilmesine ve veri ve kodların özel teknolojiler olarak tutulmasına büyük yatırımlar yapıyor.

Herhangi bir üçüncü taraf için temel modellerinin üretilmesi, üç ana darboğaza sahip, kaynak yoğun bir süreçtir: veri, hesaplama, ve para kazanma.

Bu sorunların bazılarının çözümünde web3 temalarının erken dönemde devreye girdiğini burada görüyoruz.

Etiketli veri kümeleri etkili modeller oluşturmak için kritik öneme sahiptir. Yapay zeka sistemleri, veri kümelerindeki örneklerden genelleme yaparak öğrenir ve zaman içinde eğitildikçe sürekli olarak gelişir. Ancak kaliteli veri kümesi derlemesi ve etiketlemesi, hesaplama kaynaklarına ek olarak özel bilgi ve işlem gerektirir. Büyük teknoloji şirketleri genellikle büyük, özel veri kümeleriyle çalışma konusunda uzmanlaşmış dahili veri ekiplerine sahip olacak ve IP sistemleri modellerini eğitmek zorundalar ve verilerinin üretimine veya dağıtımına açık erişim konusunda çok az teşvikleri var.

Model eğitimini küresel bir araştırmacı topluluğuna açık ve erişilebilir hale getiren topluluklar zaten mevcut. İşte bazı örnekler:

1. Ortak TaramaOn yıllık internet verilerinin halka açık bir deposu olan , genel eğitim için kullanılabilir. (Yine de Araştırma gösteriyor ki daha kesin, ayrıştırılmış veri kümelerinin genel alanlar arası bilgiyi ve modellerin aşağı yönlü genelleme yeteneklerini geliştirebileceğini düşünüyoruz.)
2. Laion büyük ölçekli makine öğrenimi modellerini ve veri kümelerini halkın kullanımına sunmayı ve yayınlamayı amaçlayan, kar amacı gütmeyen bir kuruluştur LAION5B5.85 milyar adet CLIP filtreli görüntü-metin çifti veri kümesi olup, piyasaya sürülmesiyle birlikte dünyadaki en büyük, açık erişilebilir görüntü-metin veri kümesi haline gelmiştir.
3. Eleuther AI adı verilen en büyük açık kaynak metin veri kümelerinden birini yayınlayan merkezi olmayan bir kolektiftir. Yığın. The Pile, 825.18 farklı veri kaynağını kullanan, dil modellemeye yönelik bir 22 GiB İngilizce dili veri kümesidir.

Şu anda bu topluluklar gayri resmi olarak örgütleniyor ve geniş bir gönüllü tabanından gelen katkılara dayanıyor. Çabalarını güçlendirmek için token ödülleri, açık kaynaklı veri kümeleri oluşturma mekanizması olarak kullanılabilir. Büyük bir metin-görüntü veri kümesinin etiketlenmesi gibi katkılara dayalı olarak tokenlar yayılabilir ve bir DAO topluluğu bu tür iddiaları doğrulayabilir. Sonuçta, büyük modeller ortak bir havuzdan token üretebilir ve söz konusu modellerin üzerine inşa edilen ürünlerden elde edilen alt gelirler, token değerine tahakkuk edebilir. Bu şekilde veri kümesine katkıda bulunanlar, tokenleri aracılığıyla büyük modellerde pay sahibi olabilecek ve araştırmacılar, açıkta bina kaynaklarından para kazanabilecekler.

İyi yapılandırılmış açık kaynak veri kümelerinin derlenmesi, büyük modeller için araştırma erişilebilirliğinin genişletilmesi ve model performansının iyileştirilmesi açısından kritik öneme sahiptir. Daha hassas sonuçlar elde etmek için farklı görüntü türlerine yönelik boyut ve filtreler artırılarak metin-görüntü veri kümeleri genişletilebilir. İngilizce konuşmayan popülasyonların kullanabileceği doğal dil modellerini eğitmek için İngilizce olmayan veri kümelerine ihtiyaç duyulacaktır. Zamanla web3 yaklaşımını kullanarak bu sonuçlara çok daha hızlı ve daha açık bir şekilde ulaşabiliriz.

Büyük ölçekli sinir ağlarını eğitmek için gereken bilgi işlem, temel modellerdeki en büyük darboğazlardan biridir. Geçtiğimiz on yılda yapay zeka modellerinin eğitiminde bilişime olan talep arttı her 3.4 ayda bir ikiye katlandı. Bu dönemde yapay zeka modelleri, görüntü tanımadan takviyeli öğrenme algoritmaları kullanmaya, strateji oyunlarında insan şampiyonları yenmeye ve dil modellerini eğitmek için dönüştürücülerden yararlanmaya geçti. Örneğin, OpenAI'nin GPT-3'ünün 175 milyar parametresi vardı ve eğitimi 3,640 petaFLOPS günü sürdü. Bu işlemin dünyanın en hızlı süper bilgisayarında iki hafta, standart bir dizüstü bilgisayarın hesaplaması ise bir bin yıldan fazla sürecektir. Model boyutları büyümeye devam ettikçe bilgi işlem, alanın ilerlemesinde bir darboğaz olmaya devam ediyor.

Yapay zeka süper bilgisayarları, Grafik İşleme Birimleri (GPU'lar) veya Uygulamaya Özel Entegre Devreler (ASIC'ler) gibi sinir ağlarını eğitmek için gerekli matematiksel işlemleri gerçekleştirmek üzere optimize edilmiş özel donanımlara ihtiyaç duyar. Günümüzde bu tür hesaplamalar için optimize edilmiş donanımların çoğu, Google Cloud, Amazon Web Services, Microsoft Azure ve IBM Cloud gibi birkaç oligopolistik bulut hizmeti sağlayıcısı tarafından kontrol edilmektedir.

Bu, halka açık, açık ağlar aracılığıyla merkezi olmayan bilgi işlem tahsisinin ilgi kazandığını gördüğümüz bir sonraki büyük kavşaktır. Merkezi olmayan yönetişim, topluluk odaklı projeleri eğitmek için fon sağlamak ve kaynak tahsis etmek için kullanılabilir. Ayrıca, merkezi olmayan bir pazar modeli, herhangi bir araştırmacının bilgi işlem kaynaklarına erişebileceği şekilde, coğrafyalar arasında açık bir şekilde erişilebilir olabilir. Token dağıtarak model eğitimini kitle fonlayan bir ödül sistemi hayal edin. Başarılı kitlesel fonlamalar, modelleri için öncelikli bilgi işlem alacak ve talebin yüksek olduğu yerlerde yenilikleri ileriye taşıyacak. Örneğin, DAO'dan nüfusun daha geniş bir kesimine hizmet edecek bir İspanyolca veya Hintçe GPT modeli üretme yönünde önemli bir talep varsa, araştırma bu alana odaklanabilir.

Zaten şirketler böyle GenSyn derin öğrenme hesaplaması için alternatif, uygun maliyetli ve bulut tabanlı donanım erişimini teşvik etmek ve koordine etmek amacıyla protokoller başlatmak için çalışıyorlar. Zamanla, web3 altyapısıyla oluşturulmuş, paylaşılan, merkezi olmayan bir küresel bilgi işlem ağı, yapay zekanın sınırlarını hep birlikte keşfederken ölçeklendirme açısından daha uygun maliyetli hale gelecek ve bize daha iyi hizmet verecek.

Veri kümeleri ve bilgi işlem şu tezi mümkün kılacak: açık kaynaklı yapay zeka modelleri. Geçtiğimiz birkaç yılda, büyük modeller, onları üretmek için gereken kaynak yatırımının projeleri kapalı kaynak olmaya itmesi nedeniyle giderek daha özel hale geldi.

OpenAI'yi alın. OpenAI 2015 yılında kuruldu Tüm insanlığın yararına yapay genel zeka üretme misyonuna sahip, kar amacı gütmeyen bir araştırma laboratuvarı olarak, o zamanın yapay zeka liderleri Google ve Facebook ile tam bir tezat oluşturuyor. Zamanla, şiddetli rekabet ve finansman baskısı, OpenAI'nin şeffaflık ve açık kaynak kodu ideallerini aşındırdı. kar amaçlı model ve büyük bir anlaşmaya imza attı Microsoft ile 1 milyar dolarlık ticari anlaşma. Dahası, son tartışmalar metinden görüntüye modeli DALLE-2'yi kuşattı. genelleştirilmiş sansürü nedeniyle. (Örneğin, DALLE-2 'silah', 'infaz', 'saldırı', 'Ukrayna' terimlerini ve ünlülerin resimlerini yasaklamıştır; bu tür kaba sansür, 'Lebron James potaya saldırıyor' veya 'bir programcının potaya saldırması' gibi yönlendirmeleri engelliyor. Bu modeller için özel beta sürümüne erişim, Batılı kullanıcılar için küresel nüfusun büyük bir bölümünün bu modellerle etkileşime girmesini ve bilgi vermesini engelleyen örtülü bir coğrafi önyargıya sahiptir.

Yapay zekanın yayılması bu şekilde olmamalı: birkaç büyük teknoloji şirketi tarafından korunuyor, denetleniyor ve muhafaza ediliyor. Blockchain'de olduğu gibi, yeni teknolojinin mümkün olduğu kadar adil bir şekilde uygulanması gerekiyor, böylece faydaları erişime sahip birkaç kişi arasında yoğunlaşmıyor. Yapay zekadaki birleşik ilerleme, en ilgi çekici kullanım örneklerini toplu olarak keşfetmek ve yapay zekanın adil kullanımı konusunda fikir birliğine varmak için farklı endüstriler, coğrafyalar ve topluluklar genelinde açıkça kullanılmalıdır. Vakıf modellerini açık kaynak tutmak, sansürün önlenmesini ve önyargıların kamuoyu önünde dikkatle izlenmesini sağlayabilir.

Genelleştirilmiş temel modellere yönelik bir token yapısıyla, açık kaynak kodunu yayınlarken çalışmalarından para kazanabilecek daha büyük bir katılımcı havuzunun bir araya getirilmesi mümkün olacaktır. Açık kaynak tezi göz önünde bulundurularak oluşturulan OpenAI gibi projeler, yetenek ve kaynaklar için rekabet edebilmek amacıyla bağımsız olarak finanse edilen bir şirkete yönelmek zorunda kaldı. Web3, açık kaynak projelerinin mali açıdan kazançlı olmasına ve Big Tech'in özel yatırımları tarafından yönetilen projelere daha fazla rakip olmasına olanak tanır. Dahası, açık kaynak modellerin üzerine ürünler geliştiren yenilikçiler, temeldeki yapay zekanın şeffaf olduğuna dair güvenle inşa edebilirler. Bunun aşağı yönlü etkisi, yeni yapay zeka kullanım senaryolarının hızla benimsenmesi ve pazara sunulması olacaktır. Web3 alanında buna şunlar dahildir: güvenlik uygulamaları Akıllı sözleşme güvenlik açıkları ve hileler için tahmine dayalı analizler gerçekleştiren, görüntü oluşturucular NFT'leri basmak ve meta veri ortamları oluşturmak için kullanılabilecek, dijital yapay zeka kişilikleri Bireysel mülkiyeti korumak için zincir üzerinde var olabilen bu özellikler ve çok daha fazlası.

Yapay zeka, günümüzün en hızlı gelişen teknolojilerinden biridir ve bir bütün olarak toplumumuz üzerinde çok büyük etkileri olacaktır. Yetenek, veri ve bilişime yapılan finansal yatırımlar, açık kaynak geliştirme için önemli engeller oluşturduğundan, günümüzde bu alana büyük teknoloji hakimdir. Web3'ün yapay zekanın altyapı katmanına entegrasyonu, yapay zeka sistemlerinin adil, açık ve erişilebilir bir şekilde oluşturulmasını sağlamak için atılması gereken önemli bir adımdır. Açık modellerin Twitter ve HuggingFace gibi açık alanlarda hızlı, kamusal inovasyon konumuna geldiğini zaten görüyoruz ve kripto para bu çabaları ileriye doğru güçlendirebilir.

İşte CoinFund ekibinin yapay zeka ve kriptonun kesişim noktasında aradığı şey:

1. Görevlerinin merkezinde açık yapay zeka bulunan ekipler
2. Yapay zeka modellerinin oluşturulmasına yardımcı olmak için veri ve bilgi işlem gibi kamuya açık kaynakları seçen topluluklar
3. Yaratıcılığı, güvenliği ve yeniliği genel kullanıma sunmak için yapay zekayı kullanan ürünler

Yapay zeka ve web3'ün kesiştiği noktada bir proje inşa ediyorsanız CoinFund'a şu adresten ulaşarak bizimle sohbet edin: Twitter veya e-posta rishin@coinfund.io or jake@coinfund.io.