Store sprogmodeller (LLM'er) udgør en unik udfordring, når det kommer til præstationsevaluering. I modsætning til traditionel maskinlæring, hvor resultaterne ofte er binære, bor LLM-output i et spektrum af korrekthed. Selvom din basismodel muligvis udmærker sig i brede målinger, garanterer generel ydeevne ikke optimal ydeevne til dine specifikke brugssituationer.
Derfor skal en holistisk tilgang til evaluering af LLM'er bruge en række forskellige tilgange, såsom at bruge LLM'er til at evaluere LLM'er (dvs. auto-evaluering) og bruge human-LLM hybride tilgange. Denne artikel dykker ned i de specifikke trin af forskellige metoder, der dækker, hvordan du opretter skræddersyede evalueringssæt, der er skræddersyet til din applikation, lokaliserer relevante metrikker og implementerer strenge evalueringsmetoder – både til valg af modeller og overvågning af den løbende ydeevne i produktionen.
Byg målrettede evalueringssæt til dine brugssager
For at vurdere ydeevnen af en LLM på en specifik use case, skal du teste modellen på et sæt eksempler, der er repræsentative for dine target use cases. Dette kræver opbygning af et tilpasset evalueringssæt.
- Start i det små. For at teste LLM-ydeevne på din use case kan du starte med så få som 10 eksempler. Hvert af disse eksempler kan køres flere gange for at vurdere modellens konsistens og pålidelighed.
- Saml udfordrende eksempler. De eksempler, du vælger, bør ikke være ligetil. De skal være udfordrende, designet til at teste modellens kapacitet fuldt ud. Dette kan omfatte prompter med uventede input, forespørgsler, der kan fremkalde skævheder, eller spørgsmål, der kræver en dyb forståelse af emnet. Det handler ikke om at snyde modellen, men snarere at sikre, at den er forberedt på den uforudsigelige natur af applikationer i den virkelige verden.
- Overvej at udnytte LLM'er til at bygge et evalueringssæt. Interessant nok er det en almindelig praksis at udnytte sprogmodeller til at bygge evalueringssæt til at vurdere enten sig selv eller andre sprogmodeller. For eksempel kan en LLM generere et sæt spørgsmål og svar-par baseret på en inputtekst, som du kan bruge som en første batch af eksempler til dit spørgsmål-svar-program.
- Inkorporer brugerfeedback. Uanset om det drejer sig om intern teamtest eller bredere implementering, afslører brugerfeedback ofte uforudsete udfordringer og scenarier i den virkelige verden. Sådan feedback kan integreres som nye udfordrende eksempler i dine evalueringssæt.
I bund og grund er opbygningen af et tilpasset evalueringssæt en dynamisk proces, der tilpasses og vokser i takt med dit LLM-projekts livscyklus. Denne iterative metode sikrer, at din model forbliver tilpasset aktuelle, relevante udfordringer.
Kombiner målinger, sammenligninger og kriteriebaseret evaluering
Målinger alene er normalt utilstrækkelige til at evaluere LLM'er. LLM'er opererer i et område, hvor der ikke altid er et enkelt "korrekt" svar. Desuden kan det være vildledende at bruge aggregerede metrics. En model kan udmærke sig på ét domæne og vakle på et andet, men alligevel registrere en imponerende gennemsnitsscore.
Dine evalueringskriterier vil afhænge af de forskellige egenskaber for det særlige LLM-system. Mens nøjagtighed og upartiskhed er almindelige mål, kan andre kriterier være altafgørende i specifikke scenarier. For eksempel kan en medicinsk chatbot prioritere uskadelighed af svar, en kundesupportbot kan lægge vægt på at opretholde en konsistent venlig tone, eller en webudviklingsapplikation kan kræve output i et bestemt format.
For at strømline processen kan flere evalueringskriterier integreres i et ental feedback funktion. Det vil tage som input teksten genereret af en LLM og nogle metadata, og derefter output en score, der angiver kvaliteten af teksten.
Således involverer holistisk evaluering af LLM-præstation typisk mindst 3 forskellige tilgange:
- Kvantitative målinger: Når der findes endelige rigtige svar, kan du som standard bruge traditionelle ML-evalueringsmetoder ved hjælp af kvantitative tilgange.
- Reference sammenligninger: For tilfælde uden et entydigt enkeltsvar, men med en tilgængelig reference af acceptable svar, kan modellens svar sammenlignes og kontrasteres med allerede eksisterende eksempler.
- Kriteriebaseret evaluering: Hvis der ikke er en reference, skifter fokus til at måle modellens output i forhold til de foruddefinerede kriterier.
Både referencesammenligninger og kriteriebaserede evalueringer kan udføres enten af menneskelige evaluatorer eller gennem automatiserede processer. Dernæst vil vi dykke ned i fordelene og ulemperne ved disse forskellige evalueringstilgange.
Menneskelige, auto-evaluering og hybride tilgange
Menneskelig evaluering ses ofte som guldstandarden for evaluering af maskinlæringsapplikationer, inklusive LLM-baserede systemer, men er ikke altid gennemførlig på grund af tidsmæssige eller tekniske begrænsninger. Auto-evaluering og hybride tilgange bruges ofte i virksomhedsindstillinger til at skalere LLM-ydelsesevaluering.
Menneskelig evaluering
At have menneskeligt tilsyn med output fra LLM-baserede applikationer er afgørende for at sikre nøjagtigheden og pålideligheden af disse systemer. Det er dog muligvis ikke ideelt at stole udelukkende på denne tilgang til evaluering af LLM'er på grund af følgende vigtige begrænsninger:
- Kvalitetsbekymringer: Overraskende nok producerer avancerede modeller som GPT-4 ofte evalueringer af overlegen kvalitet sammenlignet med de gennemsnitlige resultater fra arbejdere ansat via Mechanical Turk. Menneskelige evaluatorer, medmindre de er styret af omhyggelige eksperimentelle designs, fokuserer muligvis ikke på de kernekvaliteter, der betyder mest. Der er en tilbøjelighed til at blive fanget af overfladiske elementer; for eksempel kan de foretrække et velformateret, men fejlagtigt svar frem for et nøjagtigt, men klart præsenteret.
- Omkostningsimplikationer: Det er dyrt at anskaffe top-tier menneskelige evalueringer. Jo højere kvalitet af evalueringen du søger, jo større er de tilknyttede omkostninger.
- Tidsbegrænsninger: Indsamling af menneskelige evalueringer er tidskrævende. I den hurtige verden af LLM-baseret systemudvikling, hvor implementeringer kan ske inden for få dage eller uger, har udviklere ikke altid råd til at holde pause og afvente feedback.
Disse begrænsninger understreger vigtigheden af at supplere menneskelige evalueringer med mere effektive vurderingsteknikker.
Auto-evaluering
Store sprogmodeller har vist sig dygtige til at evaluere deres modparters ydeevne. Især kan en mere avanceret eller større LLM bruges til at vurdere ydeevnen af mindre modeller. Det er også almindeligt at bruge en LLM til at vurdere sit eget output. I betragtning af mekanikken i LLM'er kan en model i begyndelsen give et forkert svar. Men ved at forsyne den samme model med en strategisk udformet prompt, der anmoder om en evaluering af dens første reaktion, får modellen effektivt en mulighed for at "reflektere" eller "genovertænke". Denne procedure øger væsentligt sandsynligheden for, at modellen identificerer eventuelle fejl.
Brug af LLM'er til at evaluere andre LLM'er tilbyder et hurtigt og omkostningseffektivt alternativ til at ansætte menneskelige evaluatorer. Denne metode har imidlertid kritiske faldgruber, som virksomheds- og teknologiledere skal være parate til at tage fat på:
- Når de får til opgave at vurdere et svar på en skala fra 1 til 5, kan LLM'er evt udvise en konsekvent bias mod en specifik vurdering, uanset svarets faktiske kvalitet.
- Når man sammenligner sit eget output med andre modellers, er en LLM generelt viser en præference for sit eget svar.
- Rækkefølgen af svarkandidater kan lejlighedsvis påvirke evalueringen, som for eksempel at demonstrere en præference for det første viste kandidatsvar.
- LLM'er har tendens til foretrækker længere svar, selvom de indeholder faktuelle fejl eller er sværere for menneskelige brugere at forstå og bruge.
I betragtning af de ufuldkommenheder, der er iboende i LLM-evalueringer, forbliver den strategiske inkorporering af manuel overvågning af menneskelige evaluatorer et tilrådeligt skridt og bør ikke udelades fra din LLM-applikationsudviklingsproces.
Hybrid tilgang
Den fremherskende tilgang er, at udviklere læner sig kraftigt op af automatiske evalueringer, der er faciliteret af LLM'er. Dette udstyrer dem med en øjeblikkelig feedback-mekanisme, der muliggør hurtigt modelvalg, finjustering og eksperimentering med forskellige systemprompter. Målet er at opnå et optimalt ydende system baseret på disse automatiske evalueringer. Når den automatiske evalueringsfase er afsluttet, involverer næste trin typisk et dybere dyk med menneskelige evalueringseksperter af høj kvalitet for at validere autoevalueringens troværdighed.
At sikre menneskelige evalueringer af høj kvalitet kan være en kostbar indsats. Selvom det ikke er pragmatisk at ty til dette niveau af kontrol efter hver mindre systemforfining, er menneskelig evaluering en uundværlig fase før overgangen til et LLM-system til et produktionsmiljø. Som nævnt tidligere kan evalueringer fra LLM'er vise skævheder og være upålidelige.
Efter implementering er det afgørende at indsamle ægte feedback fra slutbrugerne af vores LLM-baserede applikationer. Feedback kan være så simpelt som at få brugere til at vurdere et svar som nyttigt (thumbs up) eller ikke nyttigt (thumbs down), men ideelt set bør det ledsages af detaljerede kommentarer, der fremhæver styrkerne og manglerne ved modellens svar.
Grundlæggende modelopdateringer eller skift i brugerforespørgsler kan utilsigtet forringe din applikations ydeevne eller afsløre latente svagheder. Løbende overvågning af LLM-applikationens ydeevne i forhold til vores definerede kriterier forbliver kritisk gennem hele dens driftslevetid, så du hurtigt kan identificere og løse nye mangler. .
Nøgleforsøg
Evaluering af ydeevnen af LLM-baserede systemer giver unikke udfordringer, der adskiller opgaven fra konventionelle maskinlæringsevalueringer. I processen med at evaluere et LLM-system bør følgende kritiske overvejelser tages i betragtning for at informere din metode:
- Skræddersyede evalueringssæt: For at få brugbar indsigt er det bydende nødvendigt at konstruere robuste, applikationscentrerede evalueringssæt. Disse sæt behøver ikke nødvendigvis at være store, men de bør omfatte en række udfordrende prøver.
- Dynamisk udvidelse af evalueringsudfordringer: Når du modtager feedback fra brugere, er det afgørende at iterativt udvide og forfine evalueringssættet for at fange nye udfordringer og nuancer.
- Kvantitative målinger og kvalitative kriterier: LLM'ers indviklede natur undgår ofte ligefremme kvantitative målinger. Det er vigtigt at etablere et sæt kriterier, der er skræddersyet til din specifikke brugssituation, hvilket giver mulighed for en mere nuanceret vurdering af modellens ydeevne.
- Unified Feedback-funktion: For at forenkle evalueringsprocessen bør du overveje at kombinere flere kriterier i en enkelt, sammenhængende feedbackfunktion.
- Hybrid evalueringsmetode: At udnytte både LLM'er og menneskelige evaluatorer af høj kvalitet i din evalueringsproces giver et mere omfattende perspektiv og giver de mest pålidelige og omkostningseffektive resultater.
- Kontinuerlig overvågning i den virkelige verden: Ved at flette brugerfeedback med den forenede feedback-funktion kan du løbende overvåge og finjustere LLM-ydeevnen, hvilket sikrer ensartet tilpasning til virkelige krav.
Nyder du denne artikel? Tilmeld dig flere AI-forskningsopdateringer.
Vi giver dig besked, når vi udgiver flere oversigtsartikler som denne.
Relaterede
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Automotive/elbiler, Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
- ChartPrime. Løft dit handelsspil med ChartPrime. Adgang her.
- BlockOffsets. Modernisering af miljømæssig offset-ejerskab. Adgang her.
- Kilde: https://www.topbots.com/llm-performance-evaluation/
- :har
- :er
- :ikke
- :hvor
- $OP
- 1
- 10
- a
- Om
- acceptabel
- ledsaget
- Konto
- nøjagtighed
- præcis
- opnå
- erhverve
- faktiske
- adresse
- fremskreden
- fordele
- Efter
- mod
- aggregat
- AI
- ai forskning
- tillade
- alene
- også
- alternativ
- altid
- an
- ,
- En anden
- besvare
- svar
- enhver
- fra hinanden
- Anvendelse
- Application Development
- applikationer
- tilgang
- tilgange
- ER
- artikel
- artikler
- AS
- vurdere
- vurdering
- forbundet
- At
- attributter
- Automatiseret
- Automatisk Ur
- til rådighed
- gennemsnit
- vente
- bund
- baseret
- BE
- før
- Beyond
- fordomme
- boosts
- Bot
- både
- bred
- Bygning
- virksomhed
- men
- by
- CAN
- kandidat
- kandidater
- Kapacitet
- fange
- tilfælde
- tilfælde
- fanget
- udfordre
- udfordringer
- udfordrende
- chatbot
- Vælg
- SAMMENHÆNGENDE
- Indsamling
- kombinerer
- kommer
- kommentarer
- Fælles
- sammenlignet
- sammenligne
- Afsluttet
- omfattende
- Overvej
- overvejelser
- konsekvent
- begrænsninger
- konstruere
- kontinuerligt
- konventionelle
- Core
- korrigere
- omkostningseffektiv
- kostbar
- Omkostninger
- kunne
- dækker
- skabe
- kriterier
- kritisk
- afgørende
- Nuværende
- skik
- kunde
- Kunde support
- Dage
- dyb
- dybere
- Standard
- definerede
- endelige
- demonstrerer
- implementering
- implementeringer
- konstrueret
- designs
- detaljeret
- udviklere
- Udvikling
- forskellige
- vises
- distinkt
- Er ikke
- domæne
- Dont
- ned
- ulemper
- grund
- dynamisk
- e
- hver
- tidligere
- effektivt
- effektiv
- enten
- elementer
- smergel
- understrege
- muliggør
- Encompass
- bestræbe sig
- sikrer
- sikring
- Enterprise
- Miljø
- fejl
- Essensen
- væsentlig
- etablere
- Ether (ETH)
- evaluere
- evaluere
- evaluering
- evalueringer
- Endog
- Hver
- udviklende
- eksempel
- eksempler
- Excel
- henrettet
- eksisterer
- Udvid
- udvidelse
- dyrt
- eksperimenterende
- lettes
- Faktuel
- vakle
- hurtig
- favorisere
- gennemførlig
- tilbagemeldinger
- få
- Fornavn
- Fokus
- efter
- Til
- format
- hyppigt
- venlige
- fra
- funktion
- Endvidere
- samle
- Generelt
- generelt
- generere
- genereret
- ægte
- få
- given
- mål
- Guld
- Gold Standard
- Dyrkning
- garanti
- ske
- hårdere
- udnyttelse
- Have
- have
- stærkt
- høj kvalitet
- højere
- fremhæve
- holistisk
- Hvordan
- How To
- Men
- HTTPS
- menneskelig
- Hybrid
- i
- ideal
- ideelt
- identificere
- identificere
- if
- umiddelbar
- bydende nødvendigt
- gennemføre
- betydning
- imponerende
- in
- omfatter
- medtaget
- angiver
- informere
- iboende
- initial
- i første omgang
- indgang
- indgange
- indsigt
- instans
- integreret
- interne
- ind
- IT
- ITS
- selv
- jpg
- Nøgle
- Kend
- Sprog
- stor
- større
- ledere
- læring
- mindst
- Niveau
- Leverage
- løftestang
- Livet
- livscyklus
- ligesom
- sandsynlighed
- begrænsninger
- LLP
- længere
- maskine
- machine learning
- opretholdelse
- manuel
- Matter
- max-bredde
- Kan..
- mekanisk
- mekanik
- mekanisme
- medicinsk
- blotte
- sammenlægning
- Metadata
- metode
- Metode
- metoder
- omhyggelig
- Metrics
- måske
- mindre
- misvisende
- ML
- model
- modeller
- Overvåg
- overvågning
- mere
- mere effektiv
- mest
- flere
- skal
- Natur
- nødvendigvis
- Behov
- Ny
- næste
- især
- bemærkede
- målsætninger
- of
- Tilbud
- tit
- on
- engang
- ONE
- igangværende
- betjene
- operationelle
- Opportunity
- optimal
- or
- Andet
- vores
- udfald
- output
- i løbet af
- Tilsyn
- egen
- par
- Paramount
- særlig
- pause
- ydeevne
- udfører
- perspektiv
- fase
- plato
- Platon Data Intelligence
- PlatoData
- praksis
- pragmatisk
- forberedt
- præsentere
- forelagt
- gaver
- Prioriter
- procedure
- behandle
- Processer
- producere
- produktion
- projekter
- gennemprøvet
- give
- Spørgsmål og svar
- kvalitative
- kvaliteter
- kvalitet
- kvantitativ
- forespørgsler
- Spørgsmål
- hurtigt
- rækkevidde
- Sats
- hellere
- bedømmelse
- virkelige verden
- rige
- modtage
- raffinere
- Uanset
- register
- frigive
- relevant
- pålidelighed
- pålidelig
- stole
- resterne
- repræsentativt
- anmodninger
- kræver
- Krav
- Kræver
- forskning
- Resort
- svar
- reaktioner
- Resultater
- afslører
- stringent
- robust
- Kør
- samme
- Scale
- scenarier
- score
- kontrol
- Søg
- udvælgelse
- valg
- sekventering
- sæt
- sæt
- indstilling
- indstillinger
- Skift
- mangler
- bør
- underskrive
- Simpelt
- forenkle
- ental
- mindre
- So
- Alene
- nogle
- specifikke
- Spectrum
- standard
- starte
- Trin
- Steps
- Stadig
- ligetil
- Strategisk
- Strategisk
- strømline
- styrker
- emne
- væsentligt
- sådan
- RESUMÉ
- overlegen
- support
- SWIFT
- systemet
- Systemer
- skræddersyet
- Tag
- taget
- Tandem
- mål
- målrettet
- Opgaver
- hold
- Teknisk
- teknikker
- Teknologier
- prøve
- Test
- at
- deres
- Them
- derefter
- Der.
- Disse
- de
- denne
- Gennem
- hele
- tidskrævende
- gange
- til
- TONE
- TOPBOTS
- mod
- traditionelle
- overgang
- typisk
- forstå
- forståelse
- Uventet
- uforudset
- forenet
- enestående
- I modsætning til
- uforudsigelige
- opdateringer
- brug
- brug tilfælde
- anvendte
- Bruger
- brugere
- ved brug af
- sædvanligvis
- udnytte
- udnyttet
- VALIDATE
- række
- via
- set
- we
- web
- Web udvikling
- uger
- hvornår
- hvorvidt
- som
- mens
- bredere
- vilje
- med
- inden for
- uden
- arbejdere
- world
- endnu
- udbytter
- dig
- Din
- zephyrnet