A gépi tanulási modellek olyan hatékony eszközök, amelyek segíthetik a vállalkozásokat megalapozottabb döntések meghozatalában, és optimalizálhatják működésüket. Mivel azonban ezeket a modelleket éles üzemben helyezik üzembe és futtatják, ki vannak téve a modellsodródásnak nevezett jelenségnek.
A modelleltolódás akkor következik be, amikor a gépi tanulási modell teljesítménye idővel romlik a mögöttes adatok változásai miatt, ami pontatlan előrejelzésekhez és potenciálisan jelentős következményekhez vezet a vállalkozás számára. Ennek a kihívásnak a megoldása érdekében a szervezetek az MLOps-hoz fordulnak, amely gyakorlatok és eszközök készlete segíti a termelési gépi tanulás életciklusának kezelését.
In this article, we’ll explore model drift, the different types of it, how to detect it, and most importantly, how to handle it in production using MLOps. By understanding and managing model drift, businesses can ensure that their machine learning models remain accurate and effective over time, delivering the insights and outcomes that they need to thrive.
Fotó Nicolas Peyrol on Unsplash
A modellelsodródás, más néven modellromlás, a gépi tanulás olyan jelensége, amelyben a modell teljesítménye idővel csökken. Ez azt jelenti, hogy a modell fokozatosan elkezd rossz előrejelzéseket adni, amelyek idővel csökkentik a pontosságot.
A modelleltolódásnak különböző okai vannak, például az adatgyűjtés változásai vagy a változók közötti összefüggések. Ezért a modell nem fogja tudni ezeket a változásokat, és a teljesítmény csökkenni fog a változások növekedésével.
A modelleltolódás észlelése és kezelése az egyik alapvető feladat, amelyet az MLOps megold. A modell-sodródás jelenlétének kimutatására olyan technikákat használnak, mint a modellfigyelés, és a modell-átképzés az egyik fő módszer a modellsodródás leküzdésére.
A modelleltolódás típusának megértése elengedhetetlen a modell frissítéséhez az adatokban bekövetkezett változások alapján. A sodródásnak három fő típusa van:
Koncepció Drift
Fogalomsodródás akkor következik be, amikor a cél és a bemenet közötti kapcsolat megváltozik. Ezért a gépi tanulási algoritmus nem ad pontos előrejelzést. A koncepciósodródásnak négy fő típusa van:
- Hirtelen Drift: Hirtelen fogalomsodródás következik be, ha a független és a függő változók közötti kapcsolat hirtelen fellép. Nagyon híres példa a Covid-19 világjárvány hirtelen felbukkanása. A világjárvány megjelenése hirtelen megváltoztatta a célváltozó és a különböző területek jellemzői közötti kapcsolatot, így az előre betanított adatokon betanított prediktív modell nem lesz képes pontosan megjósolni a járvány idején.
- Fokozatos sodródás: In a gradual concept drift, the relation between the input and the target may change slowly and subtly. This can result in a slow decline in the performance of a machine learning model, as the model becomes less accurate over time. An example of the gradual concept drift is fraudulent behavior. Fraudsters tend to understand how the fraud detection system works and change their behavior over time to escape the system. Therefore a machine learning model trained on historical fraudulent transaction data will not accurately predict the gradual changes in the fraudster’s behavior. For example, consider a machine learning model used for predicting stock prices in which the model is trained on data from the past five years and its performance is evaluated on new data from the current year. However, as time goes by, the market dynamics may change, and the relationship between the variables that influence stock prices may evolve gradually. This can result in incremental drift, where the model’s accuracy gradually deteriorates over time as it becomes less effective at capturing the changing relationship between the variables.
- Növekményes eltolódás: Növekményes sodródás akkor következik be, amikor a célváltozó és a bemenet közötti kapcsolat fokozatosan változik az idő múlásával, ami általában az adatgenerálási folyamat változásai miatt következik be.
- Ismétlődő sodródás: Ezt szezonalitásnak is nevezik. Tipikus példa erre a karácsonyi vagy fekete pénteki eladások növekedése. Az a gépi tanulási modell, amely nem veszi figyelembe ezeket a szezonális változásokat, pontatlan előrejelzéseket ad ezekre a szezonális változásokra vonatkozóan.
A koncepciósodródásnak ezt a négy típusát az alábbi ábra mutatja be.
Fogalomtípusok sodródás | Kép innen Tanulás a Concept Drift alatt: Áttekintés.
Data Drift
Adatsodródás akkor következik be, amikor a bemeneti adatok statisztikai tulajdonságai megváltoznak. Példa erre egy adott alkalmazás használóinak életkori eloszlásának időbeli változása, ezért egy adott életkori eloszlásra kiképzett, marketingstratégiára használt modellt meg kell változtatni, mivel az életkor változása hatással lesz marketing stratégiák.
Upstream adatváltozások
A harmadik típusú sodródás az upstream adatváltozások. Ez az adatfolyamban az üzemi adatok változásaira vonatkozik. Ennek tipikus példája az, amikor egy adott jellemző már nem jön létre, ami hiányzó értéket eredményez. Egy másik példa a mértékegység megváltoztatása, például ha egy bizonyos érzékelő Celsiusban méri a mennyiséget, majd Fahrenheitre változtat.
A modelleltolódás észlelése nem egyszerű, és nincs univerzális módszer annak észlelésére. Mindazonáltal megvitatunk néhány népszerű módszert ennek kimutatására:
- Kolmogorov-Smirnov teszt (KS teszt): A KS-teszt egy nem paraméteres teszt az adateloszlás változásának kimutatására. Az edzési adatok és az edzés utáni adatok összehasonlítására, valamint a köztük lévő eloszlási változások megkeresésére szolgál. Ennek a teszthalmaznak a nullhipotézise kimondja, hogy a két adathalmaz eloszlása megegyezik, tehát ha a nullhipotézist elvetjük, akkor modelleltolódás következik be.
- A népességstabilitási index (PSI): A PSI egy statisztikai mérőszám, amelyet a kategorikus változók eloszlásának hasonlóságának mérésére használnak két különböző adatkészletben. Ezért használható a kategorikus változók jellemzőiben bekövetkezett változások mérésére a képzési és az edzés utáni adatállományban.
- Page-Hinkley módszer: A Page-Hinkely egy statisztikai módszer is, amelyet az adatok átlagának időbeli változásainak megfigyelésére használnak. Általában az átlag apró változásainak kimutatására használják, amelyek az adatok megtekintésekor nem láthatók.
- Teljesítmény figyelés: A fogalomváltás észlelésének egyik legfontosabb módszere a gépi tanulási modell teljesítményének nyomon követése a termelésben és változásának megfigyelése, és ha átlép egy bizonyos küszöböt, akkor egy bizonyos műveletet indíthatunk el a fogalomváltás korrigálására.
Elsodródás kezelése a termelésben | Kép szerzője ijeab a Freepiken.
Finally, let’s see how to handle the detected model drift in production. There is a wide spectrum of strategies used to handle the model drift depending on the type of drift, the data we are working on, and the project in production. Here is a summary of the popular methods that are used to handle model drift in production:
- Online tanulás: Mivel a legtöbb valós alkalmazás adatfolyamon fut, az online tanulás az egyik leggyakoribb módszer az elsodródás kezelésére. Az online tanulás során a modell menet közben frissül, mivel a modell egyszerre csak egy mintával foglalkozik.
- Időnként modell-újraképzés: Ha a modell teljesítménye egy bizonyos küszöb alá esik, vagy adateltolódást észlel, beállítható egy trigger, hogy a modellt a legújabb adatokkal újratanítsa.
- Időnként újra képezze magát egy reprezentatív részmintán: A koncepciósodródás kezelésének hatékonyabb módja, ha kiválasztunk egy reprezentatív mintát a populációból, és humán szakértők segítségével felcímkézzük őket, és áttanunk rájuk a modellt.
- Funkció eldobása: Ez egy egyszerű, de hatékony módszer, amellyel kezelhető a koncepciósodródás. Ezzel a módszerrel több modellt fogunk betanítani egy-egy funkció használatával, és minden modellnél az AUC-ROC választ ezután figyeljük, és ha az AUC-ROC értéke egy adott funkció használatával túllép egy bizonyos küszöbértéket, akkor eldobhatjuk. ez részt vehet a sodródásban.
Referenciák
Ebben a cikkben a modelleltolódást tárgyaltuk, amely a gépi tanulásban az a jelenség, amikor a modell teljesítménye idővel romlik a mögöttes adatok változása miatt. A vállalkozások a kihívások leküzdése érdekében az MLOps-hoz, a termelésben a gépi tanulási modellek életciklusát irányító gyakorlatokhoz és eszközökhöz folyamodnak.
Felvázoltuk a különböző típusú sodródásokat, amelyek előfordulhatnak, ideértve a koncepciósodródást, az adatsodródást és az upstream adatváltozásokat, valamint azt, hogy hogyan lehet kimutatni a modelleltolódást olyan módszerekkel, mint a Kolmogorov-Smirnov teszt, a populációs stabilitási index és a Page-Hinkley módszer. Végül megvitattuk a modelleltolódás kezelésének népszerű technikáit a gyártás során, beleértve az online tanulást, az időszakos modell-újraképzést, az időszakos újraképzést egy reprezentatív részmintán és a funkciók eldobását.
Youssef Rafaat számítógépes látáskutató és adatkutató. Kutatása az egészségügyi alkalmazások valós idejű számítógépes látási algoritmusainak fejlesztésére összpontosít. Több mint 3 évig adatkutatóként is dolgozott a marketing, a pénzügy és az egészségügy területén.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoAiStream. Web3 adatintelligencia. Felerősített tudás. Hozzáférés itt.
- A jövő pénzverése – Adryenn Ashley. Hozzáférés itt.
- Részvények vásárlása és eladása PRE-IPO társaságokban a PREIPO® segítségével. Hozzáférés itt.
- Forrás: https://www.kdnuggets.com/2023/05/managing-model-drift-production-mlops.html?utm_source=rss&utm_medium=rss&utm_campaign=managing-model-drift-in-production-with-mlops
- :van
- :is
- :nem
- :ahol
- $ UP
- a
- Képes
- Fiók
- pontosság
- pontos
- pontosan
- Akció
- cím
- címzés
- érint
- kor
- algoritmus
- algoritmusok
- Is
- an
- és a
- Másik
- látszólagos
- Alkalmazás
- alkalmazások
- VANNAK
- cikkben
- AS
- At
- Rossz
- alapján
- BE
- válik
- lent
- között
- Túl
- Fekete
- fekete péntek
- üzleti
- vállalkozások
- de
- by
- TUD
- Rögzítése
- Fogás
- Celsius
- bizonyos
- kihívás
- kihívások
- változik
- megváltozott
- Változások
- változó
- jellemzők
- Karácsony
- gyűjtemény
- Közös
- összehasonlítani
- számítógép
- Számítógépes látás
- koncepció
- Következmények
- Fontolja
- kijavítására
- tudott
- Covidien
- Jelenlegi
- dátum
- adattudós
- adatkészletek
- üzlet
- határozatok
- Elutasítása
- csökkenés
- átadó
- függő
- attól
- telepített
- észlelt
- Érzékelés
- fejlesztése
- különböző
- megvitatni
- tárgyalt
- terjesztés
- domain
- Csepp
- Csepegés
- két
- alatt
- dinamika
- minden
- Hatékony
- végén
- biztosítására
- menekülés
- alapvető
- Eter (ETH)
- értékelték
- fejlődik
- példa
- szakértők
- feltárása
- FAIL
- Vízesés
- híres
- Funkció
- Jellemzők
- Fields
- Ábra
- Végül
- finanszíroz
- Találjon
- koncentrál
- A
- négy
- csalás
- csalások felderítése
- csalók
- csaló
- Péntek
- ból ből
- generált
- generáló
- Ad
- Goes
- fokozatos
- fokozatosan
- fogantyú
- Legyen
- he
- egészségügyi
- segít
- itt
- övé
- történeti
- Hogyan
- How To
- azonban
- HTTPS
- emberi
- if
- kép
- fontos
- in
- pontatlan
- Beleértve
- Növelje
- független
- index
- befolyás
- tájékoztatták
- bemenet
- meglátások
- bele
- IT
- ITS
- jpg
- KDnuggets
- ismert
- címkézés
- vezető
- tanulás
- kevesebb
- életciklus
- ll
- hosszabb
- keres
- gép
- gépi tanulás
- Fő
- csinál
- kezelése
- kezelése
- piacára
- Marketing
- Marketing stratégiák
- Lehet..
- jelent
- eszközök
- intézkedés
- mérés
- módszer
- mód
- esetleg
- hiányzó
- MLOps
- modell
- modellek
- ellenőrizni
- ellenőrzés
- több
- a legtöbb
- többszörös
- Szükség
- Új
- Nicolas
- nem
- megfigyelni
- történt
- of
- on
- egyszer
- ONE
- online
- Online tanulás
- operatív
- Művelet
- Optimalizálja
- or
- szervezetek
- eredmények
- vázolt
- felett
- Overcome
- járvány
- részt vesz
- különös
- múlt
- teljesítmény
- időszakos
- jelenség
- csővezeték
- Plató
- Platón adatintelligencia
- PlatoData
- Népszerű
- népesség
- potenciálisan
- erős
- gyakorlat
- előre
- előrejelzésére
- előrejelzés
- Tippek
- jelenlét
- Áraink
- folyamat
- Termelés
- program
- ingatlanait
- ad
- amely
- mennyiség
- való Világ
- real-time
- miatt
- új
- kifejezés
- kapcsolat
- kapcsolat
- Kapcsolatok
- marad
- reprezentatív
- kutatás
- kutató
- válasz
- eredményez
- kapott
- átképzés
- futás
- s
- értékesítés
- azonos
- Tudós
- szezonális
- lát
- kiválasztása
- készlet
- váltás
- VÁLTOZÁS
- mutatott
- jelentős
- Egyszerű
- óta
- lassú
- Lassan
- kicsi
- So
- SOLVE
- néhány
- különleges
- Spektrum
- Stabilitás
- kezdet
- Államok
- statisztikai
- készlet
- egyértelmű
- stratégiák
- folyó
- tárgy
- ilyen
- hirtelen
- ÖSSZEFOGLALÓ
- rendszer
- cél
- feladatok
- technikák
- teszt
- mint
- hogy
- A
- azok
- Őket
- akkor
- Ott.
- ebből adódóan
- Ezek
- ők
- Harmadik
- ezt
- három
- küszöb
- Gyarapodás
- idő
- nak nek
- szerszámok
- Vonat
- kiképzett
- Képzések
- tranzakció
- kiváltó
- Turning
- kettő
- típus
- típusok
- tipikus
- alatt
- mögöttes
- megért
- megértés
- egység
- Egyetemes
- Frissítések
- frissítve
- Upstream adatok
- használt
- használó
- segítségével
- rendszerint
- érték
- nagyon
- látomás
- Út..
- we
- amikor
- ami
- széles
- lesz
- val vel
- dolgozott
- dolgozó
- művek
- év
- év
- zephyrnet