Perusmallit reunalla – IBM-blogi

Perusmallit (FM) merkitsevät uuden aikakauden alkua koneoppiminen (ML) ja tekoäly (AI), mikä johtaa nopeampaan tekoälyn kehittämiseen, joka voidaan mukauttaa monenlaisiin loppupään tehtäviin ja hienosäätää monenlaisia ​​sovelluksia varten. 

Kun tietojen käsittelyn merkitys työskentelypaikalla on kasvanut, tekoälymallien palveleminen yrityksen reunalla mahdollistaa lähes reaaliaikaiset ennusteet noudattaen samalla tietojen itsemääräämisoikeutta ja yksityisyyttä koskevia vaatimuksia. Yhdistämällä IBM watsonx Tietojen ja tekoälyn alustan ominaisuudet FM-laitteille, joissa on reunalaskenta, yritykset voivat suorittaa tekoälyn työkuormia FM-hienosäätöä ja johtopäätöstä varten toiminnan reunalla. Tämän ansiosta yritykset voivat skaalata tekoälyn käyttöönottoa reunalla, mikä vähentää käyttöönottoon kuluvaa aikaa ja kustannuksia nopeammilla vasteajoilla.

Muista tarkistaa kaikki tämän reunalaskentaa koskevien blogiviestien sarjan osat:

Mitä ovat perusmallit?

Perusmallit (FM:t), jotka on koulutettu laajalle mittakaavassa merkitsemättömälle datalle, ohjaavat huippuluokan tekoälyn (AI) sovelluksia. Ne voidaan mukauttaa monenlaisiin jatkotehtäviin ja hienosäätää monenlaisia ​​sovelluksia varten. Nykyaikaiset tekoälymallit, jotka suorittavat tiettyjä tehtäviä yhdessä toimialueessa, väistyvät FM-laitteille, koska ne oppivat yleisempää ja toimivat eri aloilla ja ongelmissa. Kuten nimestä voi päätellä, FM voi olla perusta monille tekoälymallin sovelluksille.

FM:t käsittelevät kahta keskeistä haastetta, jotka ovat estäneet yrityksiä skaalaamasta tekoälyn käyttöönottoa. Ensinnäkin yritykset tuottavat valtavan määrän merkitsemätöntä dataa, josta vain murto-osa on merkitty tekoälymallikoulutukseen. Toiseksi tämä merkintä- ja huomautustyö on erittäin ihmisintensiivistä ja vaatii usein useita satoja tunteja aiheasiantuntijalta (pk-yritykseltä). Tämä tekee kustannustehokkaasta skaalaamisesta eri käyttötapauksiin, koska se vaatisi joukkoja pk-yrityksiä ja tietoasiantuntijoita. Syöttämällä valtavia määriä merkitsemätöntä dataa ja käyttämällä itsevalvottuja tekniikoita mallikoulutukseen, FM:t ovat poistaneet nämä pullonkaulat ja avanneet tien tekoälyn laajamittaiselle käyttöönotolle kaikkialla yrityksessä. Nämä jokaisessa liiketoiminnassa olevat valtavat tietomäärät odottavat vapautumistaan ​​saadakseen oivalluksia.

Mitä ovat suuret kielimallit?

Suuret kielimallit (LLM) ovat perusmallien (FM) luokka, joka koostuu kerroksista hermoverkkoihin jotka on koulutettu käyttämään näitä valtavia määriä merkitsemätöntä dataa. He käyttävät itseohjattuja oppimisalgoritmeja suorittaakseen erilaisia luonnollinen kielenkäsittely (NLP) tehtäviä samalla tavalla kuin ihmiset käyttävät kieltä (katso kuva 1).

Skaalaa ja nopeuttaa tekoälyn vaikutusta

Perusmallin (FM) rakentamiseen ja käyttöönottoon on useita vaiheita. Näitä ovat tiedon kerääminen, tietojen valinta, tietojen esikäsittely, FM-esikoulutus, mallin viritys yhteen tai useampaan loppupään tehtävään, päätelmien tarjoaminen sekä datan ja tekoälymallin hallinta ja elinkaaren hallinta – joita kaikkia voidaan kuvata seuraavasti: FMOps.

Auttaakseen kaikessa tässä IBM tarjoaa yrityksille tarvittavat työkalut ja ominaisuudet näiden FM-laitteiden tehon hyödyntämiseen IBM watsonx, yritysvalmis tekoäly- ja tietoalusta, joka on suunniteltu moninkertaistamaan tekoälyn vaikutus koko yrityksessä. IBM watsonx koostuu seuraavista:

1. IBM watsonx.ai tuo uutta generatiivinen tekoäly FM:n ja perinteisen koneoppimisen (ML) tuottamat ominaisuudet tehokkaaksi studioksi, joka kattaa tekoälyn elinkaaren.
2. IBM watsonx.data on käyttötarkoitukseensa sopiva tietovarasto, joka on rakennettu avoimeen Lakehouse-arkkitehtuuriin, joka skaalaa tekoälyn työkuormia kaikelle datallesi missä tahansa.
3. IBM watsonx.governance on päästä päähän automatisoitu tekoälyn elinkaarihallinnan työkalupakki, joka on suunniteltu mahdollistamaan vastuulliset, läpinäkyvät ja selitettävät tekoälytyönkulut.

Toinen keskeinen vektori on tietojenkäsittelyn kasvava merkitys yrityksen reunalla, kuten teollisuuskohteissa, tuotantokerroksissa, vähittäiskaupoissa, puhelinverkon reuna-alueilla jne. Tarkemmin sanottuna AI yrityksen reunalla mahdollistaa tietojen käsittelyn siellä, missä työtä tehdään. lähes reaaliaikainen analyysi. Yrityksen etu on paikka, jossa tuotetaan valtavia määriä yritysdataa ja missä tekoäly voi tarjota arvokkaita, ajankohtaisia ​​ja käyttökelpoisia liiketoimintatietoja.

Tekoälymallien tarjoaminen reunalla mahdollistaa lähes reaaliaikaiset ennusteet noudattaen samalla tietojen itsemääräämisoikeutta ja yksityisyyttä koskevia vaatimuksia. Tämä vähentää merkittävästi viivettä, joka usein liittyy tarkastustietojen hankintaan, siirtoon, muuntamiseen ja käsittelyyn. Reunoilla työskenteleminen mahdollistaa arkaluontoisten yritystietojen suojaamisen ja tiedonsiirtokulujen pienentämisen nopeammilla vasteajoilla.

Tekoälyn käyttöönottojen skaalaaminen reunalla ei kuitenkaan ole helppo tehtävä dataan (heterogeenisuus, volyymi ja sääntely) ja rajoitettujen resurssien (laskenta, verkkoyhteydet, tallennus ja jopa IT-taidot) vuoksi. Nämä voidaan kuvata laajasti kahteen luokkaan:

• Käyttöönottoaika/kustannukset: Jokainen käyttöönotto koostuu useista kerroksista laitteistoa ja ohjelmistoa, jotka on asennettava, määritettävä ja testattava ennen käyttöönottoa. Nykyään huoltoammattilainen voi asentaa jopa viikon tai kaksi jokaisessa paikassa, rajoittaa voimakkaasti sitä, kuinka nopeasti ja kustannustehokkaasti yritykset voivat laajentaa käyttöönottoja organisaatiossaan.                                  
• Päivän 2 hallinta: Käyttöön otettujen reunojen suuri määrä ja kunkin käyttöönoton maantieteellinen sijainti voivat usein tehdä paikallisen IT-tuen tarjoamisesta kussakin paikassa kohtuuttoman kalliiksi näiden käyttöönottojen valvomiseksi, ylläpitämiseksi ja päivittämiseksi.

Edge AI -asennukset

IBM kehitti reuna-arkkitehtuurin, joka vastaa näihin haasteisiin tuomalla integroidun laitteiston/ohjelmiston (HW/SW) laitemallin reunan tekoälyn käyttöön. Se koostuu useista keskeisistä paradigmista, jotka auttavat tekoälyn käyttöönottojen skaalautuvuutta:

• Käytäntöihin perustuva koko ohjelmistopinon zero-touch-hallinta.
• Jatkuva reunajärjestelmän kunnon seuranta
• Ominaisuudet hallita ja työntää ohjelmisto-/tietoturva-/konfiguraatiopäivityksiä useisiin reunakohteisiin – kaikki keskitetystä pilvipohjaisesta sijainnista toisen päivän hallintaa varten.

Hajautettua keskitin-ja-puola-arkkitehtuuria voidaan käyttää skaalaamaan yritysten tekoälyn käyttöönottoa reunalla, jossa keskuspilvi tai yrityksen datakeskus toimii keskittimenä ja reuna-in-a-box -laite toimii pinnana reunassa.. Tämä keskiö- ja pinnamalli, joka ulottuu hybridipilvi- ja reunaympäristöihin, kuvaa parhaiten tasapainoa, joka tarvitaan FM-toiminnan edellyttämien resurssien optimaaliseen hyödyntämiseen (katso kuva 2).

Näiden suurten peruskielimallien (LLM) ja muun tyyppisten perusmallien esikoulutus, jossa käytetään itsevalvottuja tekniikoita laajoissa nimeämättömissä tietojoukoissa, vaatii usein merkittäviä laskentaresursseja (GPU) ja se suoritetaan parhaiten keskittimessä. Käytännössä rajattomat laskentaresurssit ja usein pilveen tallennetut suuret tietokasat mahdollistavat suurten parametrimallien esikoulutuksen ja näiden peruspohjamallien tarkkuuden jatkuvan parantamisen.

Toisaalta näiden perus-FM:ien viritys loppupään tehtäviin – jotka vaativat vain muutamia kymmeniä tai satoja merkittyjä tietonäytteitä ja päätelmien toimittamista – voidaan suorittaa vain muutamalla GPU:lla yrityksen reunalla. Tämä mahdollistaa arkaluontoisten merkittyjen tietojen (tai yrityksen kruununjalokividatan) pysymisen turvallisesti yrityksen toimintaympäristössä ja samalla pienentää tiedonsiirtokustannuksia.

Käyttämällä täyden pinon lähestymistapaa sovellusten käyttöönottoon reunalla, datatieteilijä voi hienosäätää, testata ja ottaa käyttöön malleja. Tämä voidaan saavuttaa yhdessä ympäristössä samalla, kun uusien AI-mallien loppukäyttäjille tarjottavan kehityksen elinkaari lyhenee. Alustat, kuten Red Hat OpenShift Data Science (RHODS) ja äskettäin julkistettu Red Hat OpenShift AI tarjoavat työkaluja tuotantovalmiiden tekoälymallien nopeaan kehittämiseen ja käyttöönottamiseksi hajautettu pilvi ja reunaympäristöt.

Lopuksi hienosäädetyn AI-mallin palveleminen yrityksen reunalla vähentää merkittävästi viivettä, joka usein liittyy tiedon hankintaan, lähetykseen, muuntamiseen ja käsittelyyn. Pilven esikoulutuksen irrottaminen hienosäädöstä ja päättelyistä reunassa alentaa kokonaistoimintakustannuksia vähentämällä mihin tahansa päättelytehtävään liittyvää aikaa ja tiedonsiirtokustannuksia (katso kuva 3).

Tämän arvoehdotuksen havainnollistamiseksi päästä päähän hienosäädettiin esimerkkinä toimiva näkömuuntajapohjainen perusmalli siviiliinfrastruktuurille (joka oli esikoulutettu käyttämällä julkisia ja mukautettuja toimialakohtaisia ​​tietojoukkoja) ja otettiin käyttöön kolmen solmun reunalla. (puhuja) -klusteri. Ohjelmistopino sisälsi Red Hat OpenShift Container Platformin ja Red Hat OpenShift Data Sciencen. Tämä reunaklusteri yhdistettiin myös pilvessä toimivaan Red Hat Advanced Cluster Management for Kubernetes (RHACM) -keskittimeen.

Nollakosketuksen hallinta

Käytäntöihin perustuva nollakosketusprovisointi tehtiin Red Hat Advanced Cluster Management for Kubernetes (RHACM) -ohjelmalla käytäntöjen ja sijoitustunnisteiden avulla, jotka sitovat tietyt reunaklusterit ohjelmistokomponenttien ja -kokoonpanojen joukkoon. Nämä ohjelmistokomponentit - jotka ulottuvat koko pinoon ja kattavat laskennan, tallennustilan, verkon ja tekoälyn työkuorman - asennettiin käyttämällä erilaisia ​​OpenShift-operaattoreita, tarvittavien sovelluspalvelujen tarjoamista ja S3-säilöä (tallennustila).

Valmiiksi koulutettu perusmalli (FM) siviiliinfrastruktuurille hienosäädettiin Jupyter Notebookilla Red Hat OpenShift Data Sciencessa (RHODS) käyttäen merkittyjä tietoja kuuden betonisillan vikojen luokitteluun. Tämän hienosäädetyn FM:n päättelyn palveleminen esiteltiin myös Triton-palvelimella. Lisäksi tämän reunajärjestelmän kunnon seuranta tehtiin mahdolliseksi yhdistämällä havainnointimittareita laitteisto- ja ohjelmistokomponenteista Prometheuksen kautta pilven keskeiseen RHACM-hallintapaneeliin. Siviiliinfrastruktuuriyritykset voivat ottaa nämä FM:t käyttöön reunapaikoillaan ja käyttää drone-kuvia havaitakseen viat lähes reaaliajassa. Tämä nopeuttaa tiedon saamiseen kuluvaa aikaa ja pienentää suurten teräväpiirtotietojen siirtämisen kustannuksia pilveen ja pilvestä.

Yhteenveto

Yhdistämällä IBM watsonx Data- ja AI-alustaominaisuudet perusmalleille (FM:ille), joissa on reuna-in-a-box -laite, mahdollistavat yritysten tekoälytyökuormien suorittamisen FM-hienovirityksen ja johtopäätösten tekemiseksi toiminnan reunalla. Tämä laite pystyy käsittelemään monimutkaisia ​​käyttötapauksia heti valmiina, ja se rakentaa keskitetyn hallinnan, automaation ja itsepalvelun keskittimen ja pinnan. Edge FM -käyttöönottoa voidaan lyhentää viikoista tunteihin toistettavan menestyksen, paremman joustavuuden ja turvallisuuden ansiosta.

Lue lisää perusmalleista

Muista tarkistaa kaikki tämän reunalaskentaa koskevien blogiviestien sarjan osat: