LLM-i samm-sammuline tootearendus ärijuhtidele

Taasavaldanud Platon

järgijaid: 0

LLMOps tehnoloogia virn

Loodud koos Midjourneyga

Ettevõtted igas tööstusharus ja maailma nurgas tormavad integreerida suurte keelemudelite (LLM-ide), nagu OpenAI ChatGPT, Anthropicu Claude ja AI12Labi Jurassic võimsust, et suurendada jõudlust paljudes ärirakendustes, nagu turu-uuringud, klienditeenindus. ja sisu genereerimine.

LLM-rakenduse loomine ettevõtte mastaabis nõuab aga teistsugust tööriistakomplekti ja arusaamist kui traditsiooniliste masinõppe (ML) rakenduste loomine. Ettevõtete juhid ja juhid, kes soovivad säilitada kaubamärgi häält ja usaldusväärset teenusekvaliteeti, peavad arendama sügavamat arusaamist LLM-ide tööst ning LLM-i rakenduste virna erinevate tööriistade plussidest ja miinustest.

Selles artiklis anname teile olulise sissejuhatuse kõrgetasemelise strateegia ja tööriistade kohta, mida vajate oma ettevõtte jaoks LLM-rakenduse loomiseks ja käitamiseks.

Traditsiooniline ML-arendus vs. LLM-rakendused

Traditsioonilised masinõppemudelid olid ülesandepõhised, mis tähendab, et iga erineva ülesande jaoks tuli luua eraldi mudel. Näiteks kui soovite analüüsida klientide sentimenti, peaksite looma ühe mudeli ja kui soovite luua klienditoe vestlusroti, peaksite ehitama teise mudeli.

See ülesandespetsiifiliste ML-mudelite loomise ja koolitamise protsess on aeganõudev ja nõuab palju andmeid. Nende erinevate ML-mudelite koolitamiseks vajalikud andmekogumid sõltuvad samuti ülesandest. Mudeli koolitamiseks klientide meeleolu analüüsimiseks vajate andmestikku klientide arvustustest, mis on märgistatud vastava arvamusega (positiivne, negatiivne, neutraalne). Klienditoe vestlusroboti loomise mudeli koolitamiseks vajate klientide ja tehnilise toe vaheliste vestluste andmekogumit.

Suured keelemudelid on seda muutnud. LLM-id on eelnevalt koolitatud tohutul hulgal teksti- ja koodiandmestikul, mis võimaldab neil juba karbist välja võtta mitmesuguseid ülesandeid, sealhulgas:

Teksti kokkuvõte
Sisu loomine
Tõlge
Teabe ammutamine
Küsimusele vastamine
Sentimentide analüüs
Klienditugi
Müügitugi

LLM-i rakenduste arendamise protsessi võib jagada neljaks oluliseks etapiks:

Valige sobiv vundamendimudel. See on võtmekomponent, mis määrab teie LLM-rakenduse toimivuse.
Vajadusel kohandage mudelit. Võimalik, et peate mudelit viimistlema või täiendama seda täiendavate teadmistebaasiga, et see vastaks teie konkreetsetele vajadustele.
Seadistage ML infrastruktuur. See hõlmab teie rakenduse käitamiseks vajalikku riist- ja tarkvara (st pooljuhte, kiipe, pilvemajutust, järeldusi ja juurutamist).
Täiendage oma rakendust täiendavate tööriistadega. Need tööriistad võivad aidata parandada teie rakenduse tõhusust, jõudlust ja turvalisust.

Nüüd heidame pilgu vastavale tehnoloogiavirnale.

Kui see põhjalik hariv sisu on teile kasulik, liituge meie AI meililistiga hoiatada, kui avaldame uut materjali.

Kõrgetasemeline LLM-i rakenduste virn

LLM-i rakendused on üles ehitatud mitmele põhikomponendile, sealhulgas:

Vundamendi mudel, mis võib teatud kasutusjuhtudel vajada kohandamist.
ML infrastruktuur piisavate arvutusressursside eest pilveplatvormide või ettevõtte enda riistvara kaudu.
Täiendavad tööriistad, nagu andmekonveierid, vektorandmebaasid, orkestreerimistööriistad, ML-platvormide peenhäälestus, mudeli jõudluse jälgimise tööriistad jne.

Tutvustame teid lühidalt nende komponentidega, et saaksite paremini mõista LLM-i rakenduse koostamiseks ja juurutamiseks vajalikku tööriistakomplekti.

Mis on sihtasutuse mudelid?

Ühe eelkoolitatud LLM-i kasutamine võib säästa palju aega ja ressursse. Sellise mudeli maast madalast väljaõpetamine on aga õigeaegne ja kulukas protsess, mis ületab enamiku ettevõtete võimekuse, välja arvatud vähesed tehnoloogialiidrid.

Mitmed ettevõtted ja uurimisrühmad on neid mudeleid koolitanud ja lubavad teistel ettevõtetel neid kasutada. Juhtivate näidete hulka kuuluvad ChatGPT, Claude, Llama, Jurassic ja T5. Neid avalikkusele suunatud mudeleid nimetatakse alusmudeliteks. Mõned neist on patenteeritud ja neile pääseb juurde API-kõnede kaudu tasu eest. Teised on avatud lähtekoodiga ja neid saab kasutada tasuta. Need mudelid on eelkoolitatud tohutul hulgal märgistamata tekstiandmetest koosneva andmekogumiga, mis võimaldab neil täita mitmesuguseid ülesandeid alates loominguliste reklaamikoopiate loomisest kuni teie klientidega ettevõtte nimel nende emakeeles suhtlemiseni.

Vundamendimudeleid on kahte peamist tüüpi: patenteeritud ja avatud lähtekoodiga.

Patenditud mudelid kuuluvad ühele ettevõttele või organisatsioonile ja on tavaliselt saadaval ainult tasu eest. Mõned kõige populaarsemad patenteeritud mudelite näited hõlmavad OpenAI GPT-mudeleid, Anthropicu Claude'i mudeleid ja AI21 Labsi Jurassic-mudeleid.

Avatud lähtekoodiga mudelid on tavaliselt tasuta kättesaadavad kõigile, kes neid kasutada soovivad. Mõnedel avatud lähtekoodiga mudelitel on aga nende kasutamisele piirangud, näiteks: (1) need on saadaval ainult uurimiseesmärkidel, (2) on saadaval ainult äriliseks kasutamiseks teatud suurusega ettevõtetele. Avatud lähtekoodiga kogukond väidab, et selliste piirangute seadmine ei võimalda mudelil kvalifitseeruda "avatud lähtekoodiga". Kõige silmapaistvamad näited keelemudelitest, mida saab tasuta kasutada, on siiski Meta mudelid Llama, Abu Dhabi Tehnoloogiainnovatsiooni Instituudi mudelid Falcon ja Stability AI mudelid StableLM. Lisateavet avatud lähtekoodiga mudelite ja nendega seotud riskide kohta siin.

Räägime nüüd mitmest tegurist, mida LLM-rakenduse jaoks alusmudeli valimisel arvestada.

Valige vundamendi mudel

LLM-rakenduse jaoks parima alusmudeli valimine võib olla keeruline protsess, kuid põhimõtteliselt saame selle jagada kolmeks etapiks:

Valige patenteeritud ja avatud lähtekoodiga mudelite vahel. Patenditud mudelid on tavaliselt suuremad ja võimekamad kui avatud lähtekoodiga mudelid, kuid nende kasutamine võib olla kulukam ja vähem paindlik. Lisaks ei ole kood nii läbipaistev, mis muudab patenteeritud mudelite jõudlusega seotud probleemide silumise või tõrkeotsingu keeruliseks. Seevastu avatud lähtekoodiga mudelid saavad tavaliselt vähem värskendusi ja arendajatelt vähem tuge.
Valige mudeli suurus. Suuremad mudelid suudavad tavaliselt paremini täita palju teadmisi nõudvaid ülesandeid, nagu näiteks küsimustele vastamine või loovteksti genereerimine. Suuremate mudelite kasutamine on aga ka arvutuslikult kulukam. Võite alustada katsetamisest suuremate mudelitega ja seejärel minna väiksemate mudelite juurde, kuni mudeli jõudlus on teie kasutusjuhtumi jaoks rahuldav.
Valige konkreetne mudel. Võite alustada üldiste võrdlusnäitajate ülevaatamisest, et lisada testitavate mudelite loendisse. Seejärel jätkake oma rakendusepõhiste ülesannete jaoks erinevate mudelite testimisega. Kohandatud võrdlusuuringu jaoks kaaluge arvutamist BLEU ja ROUGE hinded, mõõdikud, mis aitavad kvantifitseerida tehisintellekti loodud teksti jaoks vajalike paranduste arvu enne väljundi avaldamist inimahelas rakenduste jaoks.

Erinevate keelemudelite erinevuste paremaks mõistmiseks vaadake lehte meie ülevaade võimsaimast keele (LLM) ja visuaalse keele mudelitest (VLM).

Kui olete oma rakenduse jaoks vundamendimudeli valinud, võite kaaluda, kas peate mudelit veelgi parema jõudluse saavutamiseks kohandama.

Kohandage sihtasutuse mudelit

Mõnel juhul võite soovida kohandada aluskeele mudelit, et teie konkreetsel kasutusjuhul toimiks paremini. Näiteks võite soovida optimeerida teatud:

Domeen. Kui tegutsete kindlates valdkondades, nagu juriidiline, finants- või tervishoid, võite soovida mudeli sõnavara selles valdkonnas rikastada, et see saaks paremini aru saada ja vastata lõppkasutajate päringutele.
Ülesanne. Näiteks kui soovite, et mudel looks turunduskampaaniaid, võite esitada sellele konkreetseid näiteid kaubamärgiga turunduse sisust. See aitab mudelil õppida mustreid ja stiile, mis sobivad teie ettevõttele ja publikule.
Hääletoon. Kui teil on vaja mudelit konkreetse hääletooni kasutamiseks, saate mudelit kohandada andmestikul, mis sisaldab näiteid teie sihtkeelenäidetest.

Vundamendi keelemudeli kohandamiseks on kolm võimalikku viisi.

Peenhäälestus: annab mudelile umbes 100–500 kirjest koosneva domeenispetsiifilise märgistatud andmekogumi. Mudeli kaalusid värskendatakse, mis peaks selle andmestikuga seotud ülesannete täitmisel paremini toimima.
Domeeni kohandamine: annab mudelile domeenispetsiifilise märgistamata andmestiku, mis sisaldab suurt andmekorpust vastavast domeenist. Sel juhul uuendatakse ka mudelite kaalusid.
Infootsing: täiendab sihtasutuse mudelit suletud domeeni teadmistega. Modelli ümber ei õpetata ja mudeli kaalud jäävad samaks. Mudelil on aga lubatud hankida teavet vektorandmebaasist, mis sisaldab asjakohaseid andmeid.

Esimesed kaks lähenemisviisi nõuavad märkimisväärseid arvutusressursse mudeli ümberõpetamiseks, mis on tavaliselt teostatav ainult suurettevõtetele, kellel on kohandamise haldamiseks sobiv tehniline talent. Väiksemad ettevõtted kasutavad tavaliselt levinumat lähenemisviisi mudeli täiendamiseks domeeni teadmistega vektorandmebaasi kaudu, mida kirjeldame üksikasjalikult käesolevas artiklis LLM-i tööriistu käsitlevas jaotises.

Seadistage ML-i infrastruktuur

LLMOpsi maastiku ML-infrastruktuuri komponent sisaldab pilveplatvorme, andmetöötlusriistvara ja muid ressursse, mida on vaja LLM-ide juurutamiseks ja käitamiseks. See komponent on eriti asjakohane, kui otsustate kasutada avatud lähtekoodiga mudelit või kohandada mudelit oma rakenduse jaoks. Sellisel juhul võite vajada märkimisväärseid arvutusressursse, et mudelit vajadusel peenhäälestada ja seda käivitada.

On mitmeid pilveplatvorme, mis pakuvad teenuseid LLM-ide juurutamiseks, sealhulgas Google Cloud Platform, Amazon Web Services ja Microsoft Azure. Need platvormid pakuvad mitmeid funktsioone, mis muudavad LLM-ide juurutamise ja käitamise lihtsaks, sealhulgas:

Eelkoolitatud mudelid, mida saab täpselt teie konkreetse rakenduse jaoks kohandada
Hallatud infrastruktuur, mis hoolitseb aluseks oleva riist- ja tarkvara eest
Tööriistad ja teenused teie LLM-ide jälgimiseks ja silumiseks

Vajalike arvutusressursside hulk sõltub teie mudeli suurusest ja keerukusest, ülesannetest, mida soovite sellega täita, ja äritegevuse ulatusest, kus soovite seda mudelit juurutada.

Täiendage tööriistadega

LLM-rakenduse jõudluse edasiseks parandamiseks saab kasutada täiendavaid LLM-i külgnevaid tööriistu.

Andmekanalid

Kui teil on vaja oma andmeid oma LLM-i tootes kasutada, on andmete eeltöötluse konveier teie uue tehnoloogiavirna oluline tugisammas, nagu ka traditsioonilises ettevõtte tehisintellekti virnas. Nende tööriistade hulka kuuluvad konnektorid andmete sissevõtmiseks mis tahes allikast, andmete teisenduskiht ja allavoolu konnektorid. Juhtivad andmekanalite pakkujad, nagu Databricks ja Snowflake, ning uued mängijad, nagu Unstructured, võimaldavad arendajatel hõlpsasti osutada loomuliku keele andmete suurtele ja väga heterogeensetele korpustele (nt tuhanded PDF-id, PowerPointi esitlused, vestluslogid, kraabitud HTML, jne) ühte pääsupunkti või isegi ühte dokumenti, mida saavad edasi kasutada LLM-rakendused.

Vektori andmebaasid

Suured keelemudelid piirduvad mõne tuhande sõna korraga töötlemisega, mistõttu ei saa nad suuri dokumente üksinda tõhusalt töödelda. Suurte dokumentide võimsuse kasutamiseks peavad ettevõtted kasutama vektorandmebaase.

Vektorandmebaasid on salvestussüsteemid, mis muudavad andmekonveieri kaudu vastuvõetud suured dokumendid hallatavateks vektoriteks või manusteks. LLM-i rakendused saavad seejärel nendest andmebaasidest päringuid teha, et määrata kindlaks õiged vektorid, eraldades ainult vajalikud teabetükid.

Mõned silmapaistvamad praegu saadaolevad vektorandmebaasid on Pinecone, Chroma ja Weaviate.

Orkestreerimistööriistad

Kui kasutaja saadab teie LLM-i rakendusele päringu, näiteks küsimuse klienditeenindusele, peab rakendus enne selle päringu keelemudelile esitamist koostama viipade seeria. Lõplik keelemudeli päring koosneb tavaliselt arendaja poolt kõvasti kodeeritud viipamallist, kehtivate väljundite näidetest, mida nimetatakse mõne võttega näideteks, mis tahes vajalikust teabest, mis on hangitud välistest API-dest, ja asjakohaste dokumentide komplektist, mis on hangitud vektorandmebaasist. . Orkestreerimistööriistad ettevõtetelt nagu LangChain või LlamaIndex võivad aidata seda protsessi sujuvamaks muuta, pakkudes viipade haldamiseks ja täitmiseks kasutusvalmis raamistikke.

Peenhäälestus

Suured keelemudelid, mis on koolitatud tohutute andmekogumitega, võivad toota grammatiliselt õiget ja ladusat teksti. Kuid teatud valdkondades, näiteks meditsiinis või õigusteaduses, võib neil puududa täpsus. Nende mudelite viimistlemine domeenispetsiifilistes andmekogumites võimaldab neil sisestada nende piirkondade ainulaadsed omadused, parandades nende võimet luua asjakohast teksti.

LLM-i peenhäälestus võib olla väikeettevõtete jaoks kulukas protsess. Kuid lahendused sellistelt ettevõtetelt nagu Weights & Biases ja OctoML võivad aidata sujuvalt ja tõhusalt peenhäälestada. Need lahendused pakuvad ettevõtetele platvormi LLM-ide viimistlemiseks, ilma et peaksid investeerima oma infrastruktuuri.

Muud tööriistad

LLM-rakenduste loomiseks ja käitamiseks võib olla palju muid tööriistu. Näiteks võite vajada märgistamistööriistu, kui soovite mudelit oma konkreetsete andmenäidistega täpsustada. Samuti võite soovida oma rakenduse toimivuse jälgimiseks juurutada konkreetseid tööriistu, kuna isegi väikesed muudatused alusmudelis või klientide taotlused võivad viipade toimivust märkimisväärselt mõjutada. Lõpuks on olemas tööriistad, mis jälgivad mudeli ohutust, et aidata teil vältida vaenu õhutava sisu, ohtlike soovituste või eelarvamuste reklaamimist. Nende erinevate tööriistade vajalikkus ja tähtsus sõltub teie konkreetsest kasutusjuhtumist.

Mis saab LLM-i rakenduste arendusest järgmiseks?

Neli LLM-i tootearenduse sammu, mida me siin käsitlesime, on iga ettevõtte generatiivse tehisintellekti strateegia oluline alus, mis kasutab suuri keelemudeleid. Need on olulised, et mittetehnilised ärijuhid mõistaksid, isegi kui teil on üksikasju rakendav tehniline meeskond. Tulevikus avaldame üksikasjalikumaid õpetusi selle kohta, kuidas kasutada turul laia valikut generatiivseid AI-tööriistu. Praegu saate tellida meie uudiskirja uusimate värskenduste saamiseks.

Anname teile teada, kui avaldame rohkem selliseid kokkuvõtlikke artikleid.