Uçtaki temel modeller – IBM Blogu

Temel modeller (FM'ler) yeni bir dönemin başlangıcını işaret ediyor makine öğrenimi (ML) ve yapay zeka (AI)Bu da çok çeşitli alt görevlere uyarlanabilen ve bir dizi uygulama için ince ayar yapılabilen yapay zekanın daha hızlı geliştirilmesine yol açıyor. 

İşin yapıldığı yerde veri işlemenin öneminin artmasıyla birlikte, yapay zeka modellerinin kurumsal uçta sunulması, veri egemenliği ve gizlilik gereksinimlerine uyarken gerçek zamanlıya yakın tahminler yapılmasını sağlar. Birleştirerek IBM Watsonx Uç bilgi işlem özellikli FM'ler için veri ve yapay zeka platformu yetenekleri sayesinde kuruluşlar, operasyonel uçta FM ince ayarı ve çıkarımı için yapay zeka iş yüklerini çalıştırabilir. Bu, kuruluşların yapay zeka dağıtımlarını uçta ölçeklendirmesine olanak tanır ve daha hızlı yanıt süreleriyle dağıtım süresini ve maliyetini azaltır.

Lütfen uç bilişimle ilgili bu blog yazıları serisinin tüm bölümlerine göz atmayı unutmayın:

Temel modeller nelerdir?

Geniş bir etiketlenmemiş veri kümesi üzerinde uygun ölçekte eğitilen temel modeller (FM'ler), son teknoloji ürünü yapay zeka (AI) uygulamalarına yön veriyor. Çok çeşitli aşağı yönlü görevlere uyarlanabilirler ve bir dizi uygulama için ince ayar yapılabilirler. Tek bir alanda belirli görevleri yürüten modern yapay zeka modelleri, daha genel olarak öğrendikleri ve alanlar ve problemler arasında çalıştıkları için yerini FM'lere bırakıyor. Adından da anlaşılacağı gibi FM, yapay zeka modelinin birçok uygulamasının temelini oluşturabilir.

FM'ler, işletmelerin yapay zekayı benimsemesini ölçeklendirmekten alıkoyan iki temel zorluğu ele alıyor. Birincisi, işletmeler büyük miktarda etiketlenmemiş veri üretiyor ve bunların yalnızca bir kısmı yapay zeka modeli eğitimi için etiketleniyor. İkincisi, bu etiketleme ve açıklama ekleme görevi son derece insan yoğundur ve genellikle bir konu uzmanının (KOBİ) birkaç yüz saatlik zamanını gerektirir. Bu, KOBİ'lerden ve veri uzmanlarından oluşan bir ordu gerektireceği için kullanım senaryoları arasında ölçeklendirmeyi maliyet açısından engelleyici hale getiriyor. FM'ler, büyük miktarda etiketlenmemiş veriyi alarak ve model eğitimi için kendi kendini denetleyen teknikleri kullanarak bu darboğazları ortadan kaldırdı ve yapay zekanın kuruluş genelinde geniş çapta benimsenmesinin yolunu açtı. Her işletmede bulunan bu devasa miktardaki veriler, öngörüleri artırmak için serbest bırakılmayı bekliyor.

Büyük dil modelleri nelerdir?

Büyük dil modelleri (LLM'ler), katmanlardan oluşan bir temel modeller (FM) sınıfıdır. nöral ağlar Bu büyük miktardaki etiketlenmemiş veriler üzerinde eğitilmiş olanlar. Çeşitli işlemleri gerçekleştirmek için kendi kendini denetleyen öğrenme algoritmalarını kullanırlar. doğal dil işleme (NLP) görevleri, insanların dili kullanma biçimine benzer şekillerde yerine getirir (bkz. Şekil 1).

Yapay zekanın etkisini ölçeklendirin ve hızlandırın

Temel bir model (FM) oluşturmak ve dağıtmak için birkaç adım vardır. Bunlar arasında veri alımı, veri seçimi, veri ön işleme, FM ön eğitimi, bir veya daha fazla aşağı akış görevine model ayarlama, çıkarım sunma ve veri ve yapay zeka modeli yönetişimi ve yaşam döngüsü yönetimi yer alır; bunların tümü şu şekilde tanımlanabilir: FMOps.

Tüm bunlara yardımcı olmak amacıyla IBM, kuruluşlara bu FM'lerin gücünden yararlanmaları için gerekli araçları ve yetenekleri sunuyor. IBM Watsonx, kurum genelinde yapay zekanın etkisini çoğaltmak için tasarlanmış, kurumsal kullanıma hazır bir yapay zeka ve veri platformu. IBM watsonx aşağıdakilerden oluşur:

1. IBM watsonx.ai yeni getiriyor üretken yapay zeka FM'ler ve geleneksel makine öğrenimi (ML) tarafından desteklenen yetenekleri, yapay zeka yaşam döngüsünü kapsayan güçlü bir stüdyoya dönüştürüyoruz.
2. IBM watsonx.data tüm verileriniz için yapay zeka iş yüklerini her yerde ölçeklendirmek amacıyla açık göl evi mimarisi üzerine inşa edilmiş, amaca uygun bir veri deposudur.
3. IBM watsonx.governance Sorumlu, şeffaf ve açıklanabilir yapay zeka iş akışlarını mümkün kılmak için oluşturulmuş, uçtan uca otomatikleştirilmiş bir yapay zeka yaşam döngüsü yönetim araç setidir.

Bir diğer önemli vektör, endüstriyel lokasyonlar, üretim alanları, perakende mağazalar, telekomünikasyon uç noktaları vb. gibi kurumsal uç noktalarda bilgi işlemin artan önemidir. Daha spesifik olarak, kurumsal uçtaki yapay zeka, işin gerçekleştirildiği yerlerde verilerin işlenmesini sağlar. gerçek zamanlıya yakın analiz. Kurumsal uç, büyük miktarda kurumsal verinin üretildiği ve yapay zekanın değerli, zamanında ve eyleme dönüştürülebilir iş öngörüleri sağlayabileceği yerdir.

Yapay zeka modellerinin uçta sunulması, veri egemenliği ve gizlilik gereksinimlerine uyarken gerçek zamanlıya yakın tahminlere olanak tanır. Bu, genellikle denetim verilerinin edinilmesi, iletilmesi, dönüştürülmesi ve işlenmesiyle ilişkili gecikmeyi önemli ölçüde azaltır. Uçta çalışmak, hassas kurumsal verileri korumamıza ve daha hızlı yanıt süreleriyle veri aktarım maliyetlerini azaltmamıza olanak tanır.

Ancak yapay zeka dağıtımlarını uçta ölçeklendirmek, veriler (heterojenlik, hacim ve düzenleme) ve sınırlı kaynaklar (bilgi işlem, ağ bağlantısı, depolama ve hatta BT becerileri) ile ilgili zorluklar nedeniyle kolay bir iş değildir. Bunlar genel olarak iki kategoride açıklanabilir:

• Dağıtım zamanı/maliyeti: Her dağıtım, dağıtımdan önce kurulması, yapılandırılması ve test edilmesi gereken çeşitli donanım ve yazılım katmanlarından oluşur. Günümüzde bir servis uzmanının kurulumu bir veya iki hafta kadar sürebilir her yerde, kuruluşların organizasyonları genelinde dağıtımları ne kadar hızlı ve uygun maliyetli bir şekilde ölçeklendirebileceklerini ciddi şekilde sınırlıyor.                                  
• 2. Gün yönetimi: Dağıtılan uçların çok sayıda olması ve her dağıtımın coğrafi konumu, bu dağıtımları izlemek, sürdürmek ve güncellemek için her konumda yerel BT desteği sağlamayı genellikle aşırı derecede pahalı hale getirebilir.

Edge AI dağıtımları

IBM, uç yapay zeka devreye alımlarına entegre bir donanım/yazılım (HW/SW) cihaz modeli getirerek bu zorlukların üstesinden gelen bir uç mimarisi geliştirdi. Yapay zeka dağıtımlarının ölçeklenebilirliğine yardımcı olan birkaç temel paradigmadan oluşur:

• Tam yazılım yığınının politika tabanlı, el değmeden provizyonu.
• Uç sistem sağlığının sürekli izlenmesi
• Yazılım/güvenlik/yapılandırma güncellemelerini çok sayıda uç konuma yönetme ve gönderme yetenekleri; bunların tümü, 2. gün yönetimi için merkezi bir bulut tabanlı konumdan.

Kurumsal yapay zeka dağıtımlarını uçta ölçeklendirmek için dağıtılmış bir hub ve bağlı bileşen mimarisi kullanılabilir; burada merkezi bir bulut veya kurumsal veri merkezi bir hub görevi görür ve kutudaki uç cihazı bir uç konumda bir bağlı bileşen olarak hareket eder. Hibrit bulut ve uç ortamlarına yayılan bu hub ve bağlı bileşen modeli, FM operasyonları için gereken kaynakları en iyi şekilde kullanmak için gereken dengeyi en iyi şekilde göstermektedir (bkz. Şekil 2).

Bu temel büyük dil modellerinin (LLM'ler) ve geniş etiketsiz veri kümeleri üzerinde kendi kendini denetleyen teknikler kullanan diğer temel model türlerinin ön eğitimi, genellikle önemli bilgi işlem (GPU) kaynakları gerektirir ve en iyi şekilde bir merkezde gerçekleştirilir. Genellikle bulutta depolanan neredeyse sınırsız bilgi işlem kaynakları ve büyük veri yığınları, büyük parametreli modellerin önceden eğitilmesine ve bu temel temel modellerin doğruluğunun sürekli olarak iyileştirilmesine olanak tanır.

Öte yandan, bu temel FM'lerin yalnızca birkaç onlarca veya yüzlerce etiketli veri örneği ve çıkarım hizmeti gerektiren aşağı akış görevleri için ayarlanması, kurumsal uçta yalnızca birkaç GPU ile gerçekleştirilebilir. Bu, hassas etiketli verilerin (veya kurumsal taç-mücevher verilerinin) kurumsal operasyonel ortamda güvenli bir şekilde kalmasına olanak tanırken aynı zamanda veri aktarım maliyetlerini de azaltır.

Uygulamaları uç noktaya dağıtmak için tam yığın yaklaşımını kullanan bir veri bilimcisi, modellerde ince ayar, test ve dağıtım gerçekleştirebilir. Bu, son kullanıcılara yeni yapay zeka modelleri sunmak için geliştirme yaşam döngüsünü kısaltırken tek bir ortamda gerçekleştirilebilir. Red Hat OpenShift Data Science (RHODS) ve yakın zamanda duyurulan Red Hat OpenShift AI gibi platformlar, üretime hazır AI modellerini hızlı bir şekilde geliştirmek ve dağıtmak için araçlar sağlar. dağıtılmış bulut ve uç ortamlar.

Son olarak, ince ayarlı yapay zeka modelinin kurumsal uçta sunulması, genellikle verilerin alınması, iletilmesi, dönüştürülmesi ve işlenmesiyle ilişkili gecikmeyi önemli ölçüde azaltır. Buluttaki ön eğitimin uçta ince ayar ve çıkarımlardan ayrılması, gereken süreyi ve herhangi bir çıkarım göreviyle ilişkili veri taşıma maliyetlerini azaltarak genel operasyonel maliyeti azaltır (bkz. Şekil 3).

Bu değer önerisini uçtan uca göstermek için sivil altyapıya yönelik örnek bir vizyon-transformatör tabanlı temel modeline (kamuya açık ve özel sektöre özel veri kümeleri kullanılarak önceden eğitilmiş) ince ayarlar yapıldı ve üç düğümlü bir uçta çıkarım için devreye alındı (konuştu) küme. Yazılım yığını, Red Hat OpenShift Container Platform'u ve Red Hat OpenShift Data Science'ı içeriyordu. Bu uç kümesi aynı zamanda bulutta çalışan Red Hat Advanced Cluster Management for Kubernetes (RHACM) merkezinin bir örneğine de bağlandı.

El değmeden provizyon

Belirli uç kümeleri bir dizi yazılım bileşenine ve yapılandırmaya bağlayan ilkeler ve yerleştirme etiketleri aracılığıyla Red Hat Advanced Cluster Management for Kubernetes (RHACM) ile ilke tabanlı, sıfır dokunuşlu provizyon sağlandı. Tüm yığına yayılan ve bilgi işlem, depolama, ağ ve yapay zeka iş yükünü kapsayan bu yazılım bileşenleri, çeşitli OpenShift operatörleri, gerekli uygulama hizmetlerinin sağlanması ve S3 Bucket (depolama) kullanılarak kuruldu.

Sivil altyapıya yönelik önceden eğitilmiş temel modele (FM), beton köprülerde bulunan altı tür kusuru sınıflandırmak için etiketli veriler kullanılarak Red Hat OpenShift Data Science (RHODS) içindeki bir Jupyter Notebook aracılığıyla ince ayar yapıldı. Bu ince ayarlı FM'nin çıkarım hizmeti de bir Triton sunucusu kullanılarak gösterildi. Ayrıca, bu uç sistemin sağlığının izlenmesi, donanım ve yazılım bileşenlerindeki gözlemlenebilirlik ölçümlerinin Prometheus aracılığıyla buluttaki merkezi RHACM kontrol panelinde toplanmasıyla mümkün oldu. Sivil altyapı kuruluşları, bu FM'leri uç konumlarına dağıtabilir ve kusurları neredeyse gerçek zamanlı olarak tespit etmek için drone görüntülerini kullanabilir; böylece içgörü elde etme süresi hızlandırılır ve büyük hacimli yüksek çözünürlüklü verilerin Bulut'a ve Bulut'tan taşınması maliyeti azalır.

Özet

birleştirme IBM Watsonx Kutuda uç cihaza sahip temel modeller (FM'ler) için veri ve yapay zeka platformu yetenekleri, kuruluşların operasyonel uçta FM ince ayarı ve çıkarımı için yapay zeka iş yüklerini çalıştırmasına olanak tanır. Bu cihaz, karmaşık kullanım durumlarını kutudan çıktığı gibi yönetebilir ve merkezi yönetim, otomasyon ve self servis için hub ve bağlı bileşen çerçevesini oluşturur. Tekrarlanabilir başarı, daha yüksek esneklik ve güvenlik ile Edge FM dağıtımları haftalardan saatlere indirilebilir.

Temel modeller hakkında daha fazla bilgi edinin

Lütfen uç bilişimle ilgili bu blog yazıları serisinin tüm bölümlerine göz atmayı unutmayın: