Temeljni modeli na robu – IBM-ov blog

Osnovni modeli (FM) zaznamujejo začetek nove dobe v strojno učenje (ML) in umetna inteligenca (AI), kar vodi k hitrejšemu razvoju umetne inteligence, ki jo je mogoče prilagoditi širokemu naboru nadaljnjih nalog in natančno nastaviti za vrsto aplikacij. 

Z vse večjim pomenom obdelave podatkov tam, kjer se izvaja delo, zagotavljanje modelov AI na robu podjetja omogoča napovedi v skoraj realnem času, pri čemer upošteva zahteve glede suverenosti podatkov in zasebnosti. S kombiniranjem IBM watsonx zmogljivosti platforme za podatke in umetno inteligenco za FM z robnim računalništvom, lahko podjetja izvajajo delovne obremenitve umetne inteligence za fino uravnavanje FM in sklepanje na robu delovanja. To podjetjem omogoča, da razširijo uvedbe umetne inteligence na robu, s čimer skrajšajo čas in stroške uvajanja s hitrejšimi odzivnimi časi.

Prepričajte se, da ste preverili vse obroke v tej seriji objav v spletnem dnevniku o robnem računalništvu:

Kaj so temeljni modeli?

Temeljni modeli (FM), ki se usposabljajo na širokem naboru neoznačenih podatkov v velikem obsegu, poganjajo najsodobnejše aplikacije umetne inteligence (AI). Prilagoditi jih je mogoče širokemu naboru nadaljnjih nalog in jih natančno nastaviti za vrsto aplikacij. Sodobni modeli umetne inteligence, ki izvajajo specifične naloge v eni sami domeni, se umikajo FM-jem, ker se učijo bolj na splošno in delujejo na različnih področjih in problemih. Kot že ime pove, je FM lahko osnova za številne aplikacije modela AI.

FM obravnavata dva ključna izziva, ki podjetjem preprečujeta, da bi razširila uvedbo umetne inteligence. Prvič, podjetja proizvedejo ogromno količino neoznačenih podatkov, od katerih je le delček označen za usposabljanje modelov AI. Drugič, to opravilo označevanja in opomb je izjemno človeško intenzivno in pogosto zahteva več sto ur časa strokovnjaka za zadevo (SME). Zaradi tega je stroškovno previsoka razširitev na več primerov uporabe, saj bi zahtevala množico MSP in podatkovnih strokovnjakov. Z zaužitjem ogromnih količin neoznačenih podatkov in uporabo samonadzorovanih tehnik za usposabljanje modelov so FM-ji odstranili ta ozka grla in odprli pot za široko uporabo umetne inteligence v celotnem podjetju. Te ogromne količine podatkov, ki obstajajo v vsakem podjetju, čakajo, da jih sprostimo, da bi pridobili vpoglede.

Kaj so veliki jezikovni modeli?

Veliki jezikovni modeli (LLM) so razred temeljnih modelov (FM), ki so sestavljeni iz plasti nevronske mreže ki so bili usposobljeni za te ogromne količine neoznačenih podatkov. Uporabljajo samonadzorovane učne algoritme za izvajanje različnih obdelava naravnega jezika (NLP) naloge na načine, ki so podobni temu, kako ljudje uporabljajo jezik (glej sliko 1).

Povečajte in pospešite vpliv umetne inteligence

Obstaja več korakov za izgradnjo in uvedbo temeljnega modela (FM). Ti vključujejo vnos podatkov, izbiro podatkov, predhodno obdelavo podatkov, predhodno usposabljanje FM, prilagajanje modela eni ali več nadaljnjim nalogam, serviranje sklepanja ter upravljanje podatkov in modela AI ter upravljanje življenjskega cikla – vse to lahko opišemo kot FMOps.

Za pomoč pri vsem tem IBM podjetjem ponuja potrebna orodja in zmožnosti za izkoriščanje moči teh FM prek IBM watsonx, umetna inteligenca in podatkovna platforma, pripravljena za podjetja, zasnovana za pomnožitev vpliva umetne inteligence v podjetju. IBM watsonx je sestavljen iz naslednjega:

1. IBM watsonx.ai prinaša novo generativni AI zmogljivosti – ki jih poganja FM in tradicionalno strojno učenje (ML) – v zmogljiv studio, ki zajema življenjski cikel AI.
2. IBM watsonx.data je primerna shramba podatkov, zgrajena na odprti arhitekturi lakehouse za prilagajanje delovnih obremenitev AI za vse vaše podatke, kjer koli.
3. IBM watsonx.governance je avtomatiziran komplet orodij za upravljanje življenjskega cikla umetne inteligence od konca do konca, ki je zgrajen tako, da omogoča odgovorne, pregledne in razložljive poteke dela umetne inteligence.

Drug ključni vektor je vse večji pomen računalništva na robu podjetja, kot so industrijske lokacije, proizvodna tla, maloprodajne trgovine, robna mesta telekomunikacijskih podjetij itd. Natančneje, umetna inteligenca na robu podjetja omogoča obdelavo podatkov, kjer se opravlja delo za analiza v skoraj realnem času. Rob podjetja je kraj, kjer se ustvarjajo ogromne količine poslovnih podatkov in kjer lahko umetna inteligenca zagotovi dragocene, pravočasne in uporabne poslovne vpoglede.

Storitev modelov umetne inteligence na robu omogoča napovedi v skoraj realnem času, hkrati pa upošteva zahteve glede suverenosti podatkov in zasebnosti. To bistveno zmanjša zakasnitev, ki je pogosto povezana s pridobivanjem, prenosom, transformacijo in obdelavo inšpekcijskih podatkov. Delo na robu nam omogoča zaščito občutljivih podatkov podjetja in zmanjšanje stroškov prenosa podatkov s hitrejšimi odzivnimi časi.

Prilagoditev uvedb umetne inteligence na robu pa ni lahka naloga med izzivi, povezanimi s podatki (heterogenost, obseg in zakonodaja) in omejenimi viri (računalništvo, omrežna povezljivost, shranjevanje in celo znanje IT). Te je mogoče na splošno opisati v dveh kategorijah:

• Čas/strošek za namestitev: Vsaka uvedba je sestavljena iz več plasti strojne in programske opreme, ki jih je treba namestiti, konfigurirati in preizkusiti pred uvedbo. Danes si lahko serviser vzame teden ali dva za namestitev na vsaki lokaciji, močno omejuje, kako hitro in stroškovno učinkovito lahko podjetja razširijo uvedbe v svoji organizaciji.                                  
• Upravljanje 2. dne: Zaradi velikega števila razporejenih robov in geografske lokacije vsake uvedbe je lahko zagotavljanje lokalne IT podpore na vsaki lokaciji za spremljanje, vzdrževanje in posodabljanje teh uvedb pogosto previsoko drago.

Uvedbe Edge AI

IBM je razvil robno arhitekturo, ki se spopada s temi izzivi tako, da v robne uvedbe umetne inteligence uvede model integrirane strojne/programske opreme (HW/SW). Sestavljen je iz več ključnih paradigem, ki pomagajo pri razširljivosti uvedb umetne inteligence:

• Oskrba celotnega sklada programske opreme brez dotika na podlagi pravilnika.
• Stalno spremljanje zdravja robnega sistema
• Zmogljivosti za upravljanje in pošiljanje posodobitev programske opreme/varnosti/konfiguracije na številne robne lokacije – vse z osrednje lokacije v oblaku za upravljanje 2. dan.

Porazdeljeno arhitekturo hub-and-spoke je mogoče uporabiti za razširitev uvedb umetne inteligence v podjetju na robu, pri čemer osrednji oblak ali podatkovni center podjetja deluje kot zvezdišče, naprava edge-in-a-box pa deluje kot napera na robni lokaciji. Ta model vozlišča in žic, ki se razteza čez hibridna oblačna in robna okolja, najbolje ponazarja ravnovesje, potrebno za optimalno uporabo virov, potrebnih za delovanje FM (glejte sliko 2).

Predhodno usposabljanje teh osnovnih modelov velikih jezikov (LLM) in drugih vrst temeljnih modelov z uporabo samonadzorovanih tehnik na obsežnih neoznačenih naborih podatkov pogosto zahteva znatne računalniške (GPE) vire in se najbolje izvaja v vozlišču. Skoraj neomejeni računalniški viri in veliki kupi podatkov, ki so pogosto shranjeni v oblaku, omogočajo predhodno usposabljanje modelov velikih parametrov in nenehno izboljševanje natančnosti teh osnovnih temeljnih modelov.

Po drugi strani pa je nastavitev teh osnovnih FM-jev za naloge na nižji stopnji – ki zahtevajo le nekaj deset ali sto označenih vzorcev podatkov in serviranje sklepanja – mogoče doseči z le nekaj grafičnimi procesorji na robu podjetja. To omogoča, da občutljivi označeni podatki (ali podatki o kronskem dragulju podjetja) varno ostanejo v operativnem okolju podjetja, hkrati pa zmanjšajo stroške prenosa podatkov.

Z uporabo pristopa celotnega sklada za uvajanje aplikacij do roba lahko podatkovni znanstvenik izvede natančno nastavitev, testiranje in uvajanje modelov. To je mogoče doseči v enem samem okolju, hkrati pa skrajšati življenjski cikel razvoja za strežbo novih modelov AI končnim uporabnikom. Platforme, kot sta Red Hat OpenShift Data Science (RHODS) in nedavno napovedana umetna inteligenca Red Hat OpenShift, nudita orodja za hiter razvoj in uvajanje modelov umetne inteligence, pripravljenih za proizvodnjo, v porazdeljeni oblak in robnih okoljih.

Nazadnje, storitev natančno nastavljenega modela AI na robu podjetja znatno zmanjša zakasnitev, ki je pogosto povezana s pridobivanjem, prenosom, transformacijo in obdelavo podatkov. Ločevanje predusposabljanja v oblaku od natančne nastavitve in sklepanja na robu zniža skupne operativne stroške z zmanjšanjem potrebnega časa in stroškov premika podatkov, povezanih s katero koli nalogo sklepanja (glejte sliko 3).

Da bi prikazali to vrednostno ponudbo od konca do konca, je bil zgleden temeljni model za civilno infrastrukturo, ki temelji na vizualnem transformatorju (predhodno usposobljen z uporabo javnih in prilagojenih nizov podatkov, specifičnih za industrijo), natančno nastavljen in uveden za sklepanje na robu s tremi vozlišči (spoke) grozd. Sklad programske opreme je vključeval Red Hat OpenShift Container Platform in Red Hat OpenShift Data Science. Ta robna gruča je bila povezana tudi s primerkom središča Red Hat Advanced Cluster Management for Kubernetes (RHACM), ki deluje v oblaku.

Oskrba brez dotika

Oskrba brez dotika na podlagi pravilnika je bila opravljena z naprednim upravljanjem gruč Red Hat za Kubernetes (RHACM) prek pravilnikov in oznak umestitve, ki vežejo določene robne gruče na nabor programskih komponent in konfiguracij. Te komponente programske opreme – ki se raztezajo po celotnem skladu in pokrivajo računalništvo, shranjevanje, omrežje in delovno obremenitev z umetno inteligenco – so bile nameščene z različnimi operaterji OpenShift, zagotavljanjem potrebnih aplikacijskih storitev in vedro S3 (shramba).

Vnaprej usposobljen temeljni model (FM) za civilno infrastrukturo je bil natančno nastavljen prek prenosnika Jupyter v okviru Red Hat OpenShift Data Science (RHODS) z uporabo označenih podatkov za razvrščanje šestih vrst napak, najdenih na betonskih mostovih. Sklepanje tega natančno nastavljenega FM je bilo prikazano tudi s strežnikom Triton. Poleg tega je bilo spremljanje zdravja tega robnega sistema omogočeno z združevanjem metrik opazljivosti iz komponent strojne in programske opreme prek Prometheusa na osrednjo nadzorno ploščo RHACM v oblaku. Podjetja za civilno infrastrukturo lahko uvedejo te FM na svojih obrobnih lokacijah in uporabijo posnetke brezpilotnih letal za odkrivanje napak v skoraj realnem času – s čimer se pospeši čas do vpogleda in zmanjšajo stroški prenosa velikih količin podatkov visoke ločljivosti v in iz oblaka.

Povzetek

Združevanje IBM watsonx zmogljivosti podatkovne in AI platforme za temeljne modele (FM) z napravo edge-in-a-box podjetjem omogočajo izvajanje delovnih obremenitev AI za fino nastavitev FM in sklepanje na operativnem robu. Ta naprava lahko obvladuje zapletene primere uporabe takoj, ko je že pripravljena, in gradi ogrodje pesta in kraka za centralizirano upravljanje, avtomatizacijo in samopostrežbo. Uvedbe Edge FM je mogoče skrajšati s tednov na ure s ponovljivim uspehom, večjo odpornostjo in varnostjo.

Izvedite več o temeljnih modelih

Prepričajte se, da ste preverili vse obroke v tej seriji objav v spletnem dnevniku o robnem računalništvu: