Pilt redaktori poolt
Suured keelemudelid (LLM-id), nagu OpenAI GPT-3, Google'i BERT ja Meta LLaMA, muudavad eri sektoreid revolutsiooni oma võimega luua laia valikut teksti – alates turunduskoopiatest ja andmeteaduse skriptidest kuni luuleni.
Kuigi ChatGPT intuitiivne liides on tänapäeval enamikus inimeste seadmetes olemas, on LLM-ide kasutamiseks erinevates tarkvaraintegratsioonides endiselt suur kasutamata potentsiaal.
Peamine probleem?
Enamik rakendusi nõuab sujuvamat ja natiivset suhtlust LLM-idega.
Ja just see on koht, kus LangChain lööb sisse!
Kui olete huvitatud generatiivsest AI-st ja LLM-idest, on see õpetus teie jaoks kohandatud.
Niisiis… alustame!
Igaks juhuks, kui olete elanud koopas ja pole viimasel ajal uudiseid saanud, selgitan lühidalt suuri keelemudeleid või LLM-e.
LLM on keerukas tehisintellekti süsteem, mis on loodud matkima inimesesarnast tekstist arusaamist ja genereerimist. Tohutuid andmekogumeid treenides eristavad need mudelid keerukaid mustreid, haaravad keelelisi peensusi ja annavad ühtseid väljundeid.
Kui soovite teada, kuidas nende AI-toega mudelitega suhelda, on selleks kaks peamist võimalust.
- Kõige tavalisem ja vahetum viis on modelliga vestlemine või vestlemine. See hõlmab viipa koostamist, selle saatmist AI-toega mudelile ja vastusena tekstipõhise väljundi saamist.
- Teine meetod on teksti teisendamine numbrilisteks massiivideks. See protsess hõlmab AI jaoks viipa koostamist ja vastutasuks numbrilise massiivi vastuvõtmist. See on üldiselt tuntud kui "manustamine". See on hiljuti kogenud vektorandmebaaside ja semantilise otsingu tõusu.
Ja just nende kahe peamise probleemiga LangChain tegelebki. Kui olete huvitatud LLM-idega suhtlemise peamistest probleemidest, saate seda artiklit vaadata siin.
LangChain on avatud lähtekoodiga raamistik, mis on üles ehitatud LLM-ide ümber. See toob lauale tööriistade, komponentide ja liideste arsenali, mis lihtsustavad LLM-põhiste rakenduste arhitektuuri.
LangChainiga muutub keelemudelitega kaasamine, erinevate komponentide sidumine ja selliste varade kaasamine nagu API-d ja andmebaasid imelihtsaks. See intuitiivne raamistik lihtsustab oluliselt LLM-i rakenduste arendamise teekonda.
Long Chaini põhiidee seisneb selles, et saame ühendada erinevad komponendid või moodulid, mida tuntakse ka ahelatena, et luua keerukamaid LLM-põhiseid lahendusi.
Siin on mõned LangChaini silmapaistvad funktsioonid:
- Kohandatavad viipade mallid meie suhtluse standardimiseks.
- Ketilüli komponendid, mis on kohandatud keerukateks kasutusjuhtudeks.
- Sujuv integreerimine juhtivate keelemudelitega, sealhulgas OpenAI GPT-de ja HuggingFace Hubi mudelitega.
- Moodulkomponendid kombineeritud lähenemisviisi jaoks, et hinnata mis tahes konkreetset probleemi või ülesannet.
Pilt autorilt
LangChain eristub keskendumise poolest kohanemisvõimele ja modulaarsele disainile.
LangChaini põhiidee on loomuliku keele töötlemise järjestuse jaotamine üksikuteks osadeks, võimaldades arendajatel kohandada töövooge vastavalt oma vajadustele.
Selline mitmekülgsus positsioneerib LangChaini suurepärase valikuna AI-lahenduste loomiseks erinevates olukordades ja tööstusharudes.
Mõned selle kõige olulisemad komponendid on…
Pilt autorilt
1. LLM-id
LLM-id on põhikomponendid, mis kasutavad inimsarnase teksti mõistmiseks ja genereerimiseks tohutul hulgal koolitusandmeid. Need on paljude LangChaini toimingute keskmes, pakkudes tekstisisestuse analüüsimiseks, tõlgendamiseks ja sellele reageerimiseks vajalikke keeletöötlusvõimalusi.
Kasutus: Vestlusrobotite toide, inimsarnase teksti genereerimine erinevate rakenduste jaoks, abi teabe hankimisel ja muu keeletöötlus
2. Viipade mallid
Viibad on LLM-iga suhtlemisel üliolulised ja konkreetsete ülesannetega töötades kipub nende struktuur olema sarnane. Viipade mallid, mis on eelseadistatud viibad, mida saab kasutada ahelates, võimaldavad "viipade" standardimist, lisades konkreetseid väärtusi. See suurendab mis tahes LLM-i kohanemisvõimet ja kohandamist.
Kasutus: LLM-idega suhtlemise protsessi standardimine.
3. Väljundparserid
Väljundparserid on komponendid, mis võtavad ahela eelmise etapi toorväljundi ja teisendavad selle struktureeritud vormingusse. Neid struktureeritud andmeid saab seejärel tõhusamalt kasutada järgmistes etappides või edastada vastusena lõppkasutajale.
Kasutus: Näiteks vestlusrobotis võib väljundparser võtta toorteksti vastuse keelemudelist, eraldada põhiteabe osad ja vormindada need struktureeritud vastuseks.
4. Komponendid ja ketid
LangChainis toimib iga komponent moodulina, mis vastutab keeletöötlusjärjestuses konkreetse ülesande eest. Neid komponente saab vormiga ühendada ketid kohandatud töövoogude jaoks.
Kasutus: Sentimentide tuvastamise ja vastuse generaatori kettide loomine konkreetses vestlusbotis.
5. Mälu
LangChaini mälu viitab komponendile, mis pakub töövoo sees teabe salvestamise ja otsimise mehhanismi. See komponent võimaldab ajutiselt või püsivalt salvestada andmeid, millele saavad LLM-iga suhtlemise ajal juurde pääseda ja mida teised komponendid saavad manipuleerida.
Kasutus: See on kasulik stsenaariumide puhul, kus andmeid tuleb säilitada töötlemise eri etappides, näiteks vestluste ajaloo salvestamiseks vestlusbotisse, et pakkuda kontekstiteadlikke vastuseid.
6. Agendid
Agendid on autonoomsed komponendid, mis on võimelised tegema toiminguid nende töödeldavate andmete põhjal. Nad saavad suhelda teiste komponentide, välissüsteemide või kasutajatega, et täita LangChaini töövoo raames konkreetseid ülesandeid.
Kasutus: Näiteks võib agent käsitleda kasutaja interaktsioone, töödelda sissetulevaid päringuid ja koordineerida andmevoogu läbi ahela, et luua asjakohaseid vastuseid.
7. Indeksid ja retriiverid
Indeksid ja retriiverid mängivad andmete tõhusal haldamisel ja neile juurdepääsul üliolulist rolli. Indeksid on andmestruktuurid, mis sisaldavad teavet ja metaandmeid mudeli treeningandmetest. Teisest küljest on retriiverid mehhanismid, mis suhtlevad nende indeksitega, et hankida kindlaksmääratud kriteeriumide alusel asjakohaseid andmeid ja võimaldada mudelil paremini vastata, pakkudes asjakohast konteksti.
Kasutus: Need on olulised asjakohaste andmete või dokumentide kiirel toomisel suurest andmekogumist, mis on oluline selliste ülesannete jaoks nagu teabe otsimine või küsimustele vastamine.
8. Dokumendimuundurid
LangChainis on dokumendimuundurid spetsiaalsed komponendid, mis on loodud dokumentide töötlemiseks ja teisendamiseks viisil, mis muudab need edasiseks analüüsiks või töötlemiseks sobivaks. Need teisendused võivad hõlmata selliseid ülesandeid nagu teksti normaliseerimine, funktsioonide eraldamine või teksti teisendamine teise vormingusse.
Kasutus: Tekstiandmete ettevalmistamine järgmisteks töötlemisetappideks, näiteks masinõppemudelite abil analüüsimiseks või tõhusaks otsimiseks indekseerimiseks.
9. Mudelite manustamine
Neid kasutatakse tekstiandmete teisendamiseks arvulisteks vektoriteks suuremõõtmelises ruumis. Need mudelid jäädvustavad semantilisi seoseid sõnade ja fraaside vahel, võimaldades masinloetavat esitust. Need moodustavad aluse mitmesugustele loomuliku keele töötlemise (NLP) ülesannetele LangChaini ökosüsteemis.
Kasutus: Semantilise otsingu, sarnasuse võrdlemise ja muude masinõppe ülesannete hõlbustamine, pakkudes teksti numbrilist esitust.
10. Vektoripoed
Andmebaasisüsteemi tüüp, mis on spetsialiseerunud teabe talletamisele ja otsimisele manustamise kaudu, analüüsides sisuliselt tekstilaadsete andmete numbrilisi esitusi. VectorStore toimib nende manuste hoiuruumina.
Kasutus: Võimaldab tõhusat otsingut semantilise sarnasuse alusel.
Selle installimine PIP-i abil
Esimene asi, mida peame tegema, on veenduda, et meie keskkonda on installitud LangChain.
pip install langchain
Keskkonna seadistamine
LangChaini kasutamine tähendab tavaliselt integreerimist erinevate mudelipakkujate, andmesalvede, API-de ja muude komponentidega. Ja nagu te juba teate, on asjakohaste ja õigete API-võtmete tarnimine LangChaini töö jaoks ülioluline, nagu iga integratsioon.
Kujutage ette, et tahame kasutada oma OpenAI API-t. Seda on lihtne saavutada kahel viisil:
- Võtme seadistamine keskkonnamuutujana
OPENAI_API_KEY="..."
or
import os
os.environ['OPENAI_API_KEY'] = “...”
Kui otsustate keskkonnamuutujat mitte kehtestada, saate OpenAI LLM-klassi käivitamisel anda võtme otse parameetri openai_api_key named kaudu:
- Seadistage võti otse vastavas klassis.
from langchain.llms import OpenAI
llm = OpenAI(openai_api_key="...")
LLM-ide vahel vahetamine muutub lihtsaks
LangChain pakub LLM-klassi, mis võimaldab meil suhelda erinevate keelemudelite pakkujatega, nagu OpenAI ja Hugging Face.
Iga LLM-iga on üsna lihtne alustada, kuna mis tahes LLM-i kõige elementaarsem ja lihtsamini rakendatav funktsioon on lihtsalt teksti genereerimine.
Sama viipa korraga erinevatelt LLM-idelt küsimine pole aga nii lihtne.
See on koht, kus LangChain lööb sisse…
Tulles tagasi mis tahes LLM-i kõige lihtsama funktsiooni juurde, saame LangChainiga hõlpsasti luua rakenduse, mis saab stringiviipa ja tagastab meie määratud LLM-i väljundi.
Autori kood
Saame lihtsalt kasutada sama viipa ja saada kahe erineva mudeli vastuse mõne koodirea jooksul!
Autori kood
Muljetavaldav… eks?
Struktuuri andmine meie viipadele viipade mallidega
Keelemudelite (LLM) tavaline probleem on nende võimetus keerulisi rakendusi eskaleerida. LangChain tegeleb sellega, pakkudes lahendust viipade loomise protsessi sujuvamaks muutmiseks, mis on sageli keerulisem kui lihtsalt ülesande määratlemine, kuna see nõuab tehisintellekti isiku väljatoomist ja faktide täpsuse tagamist. Märkimisväärne osa sellest hõlmab korduvat tõlketeksti. LangChain leevendab seda, pakkudes viipamalle, mis lisavad uutele viipadele automaatselt standardteksti, lihtsustades nii viipade loomist ja tagades järjepidevuse erinevate ülesannete vahel.
Autori kood
Struktureeritud vastuste saamine väljundparserite abil
Vestluspõhiste interaktsioonide puhul on mudeli väljund vaid tekst. Siiski on tarkvararakendustes eelistatav struktureeritud väljund, kuna see võimaldab edasisi programmeerimistoiminguid. Näiteks andmestiku loomisel soovitakse vastust saada kindlas vormingus (nt CSV või JSON). Eeldades, et viipa saab koostada järjekindla ja sobiva vorminguga vastuse saamiseks tehisintellektilt, on selle väljundi haldamiseks vaja tööriistu. LangChain vastab sellele nõudele, pakkudes väljundparseri tööriistu struktureeritud väljundi tõhusaks käsitlemiseks ja kasutamiseks.
Autori kood
Võite minna minu lehelt kogu koodi kontrollima GitHub.
Mitte kaua aega tagasi tekitasid ChatGPT täiustatud võimalused meid aukartust. Kuid tehnoloogiline keskkond on pidevas muutumises ja nüüd on sellised tööriistad nagu LangChain meie käeulatuses, võimaldades meil luua oma personaalarvutitest silmapaistvaid prototüüpe vaid mõne tunniga.
LangChain, vabalt saadaolev Pythoni platvorm, pakub kasutajatele vahendit LLM-ide (keelemudelite mudelite) ankurdatud rakenduste arendamiseks. See platvorm pakub paindlikku liidest mitmesugustele alusmudelitele, lihtsustades kiiret käsitsemist ja toimides praeguse dokumentatsiooni seisuga elementide, nagu viipade mallide, rohkemate LLM-ide, välisteabe ja muude agentide kaudu seotud ressursside ühendajana.
Kujutage ette vestlusroboteid, digitaalseid assistente, keeletõlketööriistu ja sentimentaalanalüüsi utiliite; kõik need LLM-toega rakendused ärkavad LangChainiga ellu. Arendajad kasutavad seda platvormi erivajadustele vastavate kohandatud keelemudelite lahenduste loomiseks.
Kuna loomuliku keele töötlemise horisont laieneb ja selle kasutuselevõtt süveneb, tundub selle rakenduste valdkond piiritu.
Josep Ferrer on Barcelona analüütikainsener. Ta on lõpetanud füüsika inseneri eriala ja töötab praegu andmeteaduse valdkonnas, mida rakendatakse inimeste liikuvuse valdkonnas. Ta on osalise tööajaga sisulooja, kes keskendub andmeteadusele ja -tehnoloogiale. Saate temaga ühendust võtta LinkedIn, puperdama or Keskmine.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://www.kdnuggets.com/how-to-make-large-language-models-play-nice-with-your-software-using-langchain?utm_source=rss&utm_medium=rss&utm_campaign=how-to-make-large-language-models-play-nice-with-your-software-using-langchain
- :on
- :on
- :mitte
- : kus
- $ UP
- 7
- a
- võime
- pääses
- Ligipääs
- täitma
- täpsus
- üle
- kohusetäitja
- meetmete
- õigusaktid
- lisades
- aadress
- aadressid
- adresseerimine
- Vastuvõtmine
- edasijõudnud
- Agent
- ained
- tagasi
- AI
- Tehisintellekti toega
- Materjal: BPA ja flataatide vaba plastik
- võimaldama
- Lubades
- võimaldab
- juba
- Ka
- vahel
- summad
- an
- analüüs
- analytics
- analüüsima
- analüüsides
- ankurdatud
- ja
- mistahes
- API
- API-liidesed
- taotlus
- Sovelluskehitys
- rakendused
- rakendatud
- lähenemine
- asjakohane
- arhitektuur
- OLEME
- ümber
- Array
- Arsenal
- artikkel
- kunstlik
- tehisintellekti
- AS
- küsib
- hinnata
- vara
- assistendid
- At
- autonoomne
- saadaval
- AWE
- tagasi
- Barcelona
- põhineb
- põhiline
- BE
- muutuma
- muutub
- olnud
- taga
- Parem
- vahel
- piiritu
- Purustamine
- lühidalt
- Toob
- ehitama
- Ehitus
- ehitatud
- by
- CAN
- võimeid
- võimeline
- lüüa
- juhul
- juhtudel
- näeb ette
- koobas
- kett
- ketid
- chatbot
- jututoad
- ChatGPT
- jututoas
- kontrollima
- valik
- Vali
- klass
- kood
- SIDUS
- Tulema
- ühine
- tavaliselt
- KOMMUNIKATSIOON
- võrdlused
- keeruline
- komponent
- komponendid
- arvutid
- Võta meiega ühendust
- seotud
- järjepidev
- kontakt
- sisu
- kontekst
- Vestlus
- Konverteerimine
- muutma
- konverteeriva
- koordineerima
- tuum
- parandada
- käsitöö
- meisterdatud
- looma
- loomine
- loomine
- looja
- kriteeriumid
- otsustav
- Praegune
- Praegu
- kohandamine
- kohandada
- kohandatud
- andmed
- andmeteadus
- andmekogumid
- andmebaas
- andmebaasid
- süveneb
- määratlemisel
- esitatud
- annab
- Disain
- määratud
- kavandatud
- soovitud
- Detection
- arendama
- Arendajad
- & Tarkvaraarendus
- seadmed
- erinev
- digitaalne
- otsene
- otse
- eristama
- eristatav
- Eriline
- mitu
- do
- dokument
- dokumentatsioon
- dokumendid
- alla
- ajal
- iga
- lihtsaim
- kergesti
- lihtne
- ökosüsteemi
- tõhusalt
- tõhus
- tõhusalt
- elemendid
- kinnistamine
- võimaldades
- lõpp
- kaasamine
- insener
- Inseneriteadus
- Parandab
- tohutu
- tagades
- keskkond
- eskaleeruma
- oluline
- põhiliselt
- looma
- Eeter (ETH)
- pidevalt muutuv
- näide
- laieneb
- kogenud
- Selgitama
- väline
- väljavõte
- kaevandamine
- nägu
- Rajatise
- Fakt
- tunnusjoon
- FUNKTSIOONID
- vähe
- väli
- näpuotsad
- esimene
- paindlik
- voog
- vedelik
- Keskenduma
- keskendunud
- eest
- vorm
- formaat
- Sihtasutus
- Sihtasutus
- Raamistik
- vabalt
- Alates
- funktsionaalsus
- põhiline
- edasi
- tekitama
- teeniva
- põlvkond
- generatiivne
- Generatiivne AI
- generaator
- saama
- saamine
- Go
- haarake
- käsi
- käepide
- Käsitsemine
- Olema
- võttes
- he
- teda
- ajalugu
- omamine
- silmapiir
- Lahtiolekuajad
- Kuidas
- Kuidas
- HTTPS
- Keskus
- Kallistav Nägu
- inim-
- Ma teen
- idee
- if
- import
- oluline
- in
- võimetus
- sisaldama
- Kaasa arvatud
- Sissetulev
- kaasates
- indeksid
- eraldi
- tööstusharudes
- info
- algatades
- sisend
- paigaldama
- Näiteks
- instrumentaal-
- Integreerimine
- integratsioon
- integratsioon
- Intelligentsus
- suhelda
- suhtlevad
- suhtlemist
- interaktsioonid
- huvitatud
- Interface
- liidesed
- omavahel sidumine
- sisse
- keerukas
- intuitiivne
- hõlmab
- probleem
- IT
- ITS
- teekond
- Json
- lihtsalt
- KDnuggets
- Võti
- võtmed
- Kicks
- Teadma
- teatud
- maastik
- keel
- suur
- juhtivate
- õppimine
- lahkus
- Finantsvõimendus
- elu
- nagu
- liinid
- LINK
- elu-
- Laama
- Pikk
- masin
- masinõpe
- põhiline
- tegema
- TEEB
- juhtima
- juhitud
- juhtiv
- manipuleeritav
- palju
- Turundus
- mai..
- vahendid
- mehhanism
- mehhanismid
- ainult
- Metaandmed
- meetod
- võib
- liikuvus
- mudel
- mudelid
- modulaarne
- moodul
- Moodulid
- rohkem
- kõige
- my
- Nimega
- emakeelena
- Natural
- Loomulik keel
- Natural Language Processing
- vajalik
- Vajadus
- vajadustele
- Uus
- uudised
- Nexus
- kena
- nlp
- nüüd
- of
- pakkumine
- sageli
- on
- kunagi
- avatud lähtekoodiga
- OpenAI
- töö
- Operations
- valik
- or
- OS
- Muu
- meie
- visandades
- väljund
- väljundid
- tasumata
- parameeter
- osa
- eriline
- osad
- mustrid
- Inimesed
- täitma
- esitades
- isiklik
- Personaalarvutid
- fraasid
- Füüsika
- tükki
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängima
- Luule
- positsioone
- potentsiaal
- täpselt
- eelistatav
- Peamine
- Probleem
- probleeme
- protsess
- töötlemine
- tootma
- Programming
- küsib
- prototüüpide
- anda
- pakkujad
- annab
- pakkudes
- Python
- küsimus
- kiiresti
- üsna
- Töötlemata
- realm
- vastuvõtmine
- hiljuti
- viitab
- Suhted
- asjakohane
- korduv
- vastus
- esindamine
- Taotlusi
- nõudma
- nõue
- Nõuded
- Vajab
- Vahendid
- Reageerida
- vastus
- vastuste
- vastutav
- säilitatakse
- tagasipöördumine
- Tulu
- Revolutsiooniline
- õige
- Roll
- s
- sama
- stsenaariumid
- teadus
- Teadus ja tehnoloogia
- skripte
- Otsing
- otsingud
- Sektorid
- tundub
- saatmine
- tunne
- Jada
- teenib
- komplekt
- Komplektid
- kehtestamine
- märkimisväärne
- sarnane
- lihtsustab
- lihtsustamine
- lihtsalt
- olukordades
- So
- tarkvara
- lahendus
- Lahendused
- mõned
- keeruline
- Ruum
- spetsialiseeritud
- spetsialiseerunud
- konkreetse
- määratletud
- Stage
- etappidel
- standardimine
- alustatud
- Veel
- ladustamine
- salvestada
- kauplustes
- kiirendama
- Sujuvamaks muutmine
- nöör
- struktuur
- struktureeritud
- struktuuride
- järgnev
- oluliselt
- selline
- sobiv
- varustamise
- kindel
- hüppeline
- süsteem
- süsteemid
- tabel
- kohandatud
- Võtma
- võtmine
- rääkimine
- Ülesanne
- ülesanded
- tehnoloogiline
- Tehnoloogia
- malle
- ajutine
- kipub
- tekst
- tekstiline
- kui
- et
- .
- oma
- Neile
- SIIS
- Seal.
- Need
- nad
- asi
- see
- need
- kuigi?
- Läbi
- Seega
- et
- täna
- kokku
- töövahendid
- koolitus
- Muutma
- muundumised
- trafod
- Tõlge
- juhendaja
- kaks
- tüüpiliselt
- mõistma
- mõistmine
- kasutamata
- us
- kasutatav
- kasutama
- Kasutatud
- Kasutaja
- Kasutajad
- kasutamine
- kommunaalteenused
- ära kasutama
- Väärtused
- muutuja
- sort
- eri
- suur
- mitmekülgsus
- väga
- kaudu
- tahan
- Tee..
- kuidas
- we
- M
- Mis on
- millal
- mis
- kogu
- lai
- koos
- jooksul
- ime
- sõnad
- töövoog
- Töövoogud
- töö
- veel
- sa
- Sinu
- sephyrnet