Felmérés: A gépi tanulási projektek rendszerint még mindig nem telepíthetők – KDnuggets

Újra kiadta Platón

Követő: 0

Milyen gyakran érik el a gépi tanulási projektek a sikeres bevezetést? Nem elég gyakran. van bőven of ipar kutatás mutató hogy az ML projektek általában nem hoznak megtérülést, de nagyon kevesen mérték fel a kudarc és a siker arányát az adattudósok szemszögéből – azok az emberek, akik pontosan azokat a modelleket fejlesztik, amelyeket ezek a projektek bevetni hivatottak.

Miután az adatkutató felmérés amit tavaly a KDnuggets-szel vezényeltem, idei iparágvezető adattudományi felmérése a Rexer Analytics által működtetett ML tanácsadó cég foglalkozott a kérdéssel – részben azért, mert Karl Rexer, a vállalat alapítója és elnöke valóban lehetővé tette az Önök részvételét, és ez ösztönözte a telepítés sikerével kapcsolatos kérdéseket (egy éves analitikai professzori munkám része. az UVA Dardennél).

A hír nem jó. Az adatkutatók mindössze 22%-a mondja azt, hogy „forradalmi” kezdeményezéseik – egy új folyamat vagy képesség létrehozására kifejlesztett modellek – rendszerint bevetik magukat. 43% azt állítja, hogy 80% vagy több nem telepíthető.

át minden a különféle ML-projektek – beleértve a meglévő telepítésekhez használt modellek frissítését – mindössze 32%-a mondja azt, hogy modelljeik rendszerint üzembe helyeznek.

Íme a felmérés azon részének részletes eredményei, amelyeket a Rexer Analytics mutat be, háromféle ML kezdeményezésre lebontva a telepítési arányokat:

Felmérés: A gépi tanulási projekteket még mindig nem sikerül bevezetni

Kulcs:

Meglévő kezdeményezések: A már sikeresen telepített modellek frissítésére/frissítésére kifejlesztett modellek
Új kezdeményezések: Olyan modellek, amelyeket egy meglévő folyamat javítására fejlesztettek ki, amelyhez még nem telepítettek modellt
Forradalmi kezdeményezések: Új folyamatok vagy képességek létrehozására kifejlesztett modellek

Véleményem szerint ez a küzdelem a telepítésért két fő tényezőből fakad: a gyakori alultervezésből és a konkrét láthatóság hiányából származó üzleti érdekelt felektől. Sok adatszakértő és vállalatvezető nem ismerte fel, hogy az ML tervezett működését nagyon részletesen meg kell tervezni, és minden ML projekt kezdetétől agresszíven kell folytatni.

Sőt, egy új könyvet írtam erről: Az AI Playbook: A gépi tanulás alkalmazásának ritka művészetének elsajátítása. Ebben a könyvben bemutatok egy üzembe helyezés-központú, hat lépésből álló gyakorlatot a gépi tanulási projektek elindításához a koncepciótól a telepítésig. bizML (rendeld elő a keménytáblás vagy e-könyvet és megkapja a hangoskönyv verzió ingyenes haladó példányát azonnal).

Az ML-projekt kulcsfontosságú érintettjének – a fejlesztésre irányuló műveleti hatékonyságért felelős személynek, például egy üzletági vezetőnek – szüksége van rá, hogy az ML pontosan hogyan javítja működését, és hogy a fejlesztés várhatóan mekkora értéket fog nyújtani. Erre azért van szükségük, hogy végső soron zöld fényt adjanak a modell bevezetésére, és ezt megelőzően mérlegeljék a projekt végrehajtását a bevezetés előtti szakaszokban.

De ML teljesítményét gyakran nem mérik! Amikor a Rexer-felmérés megkérdezte: „Milyen gyakran méri az Ön cége/szervezete az elemzési projektek teljesítményét?” Az adatkutatóknak csak 48%-a mondta azt, hogy „Mindig” vagy „Az idő nagy részében”. Ez elég vad. Inkább 99%-nak vagy 100%-nak kell lennie.

És amikor a teljesítményt mérik, az olyan technikai mutatók alapján történik, amelyek rejtélyesek, és többnyire irrelevánsak az üzleti érdekelt felek számára. Az adattudósok jobban tudják, de általában nem tartják be – részben mivel az ML-eszközök általában csak technikai mutatókat szolgálnak ki. A felmérés szerint az adatkutatók az üzleti KPI-ket, például a ROI-t és a bevételt a legfontosabb mérőszámok közé sorolják, ugyanakkor a leggyakrabban mért technikai mutatókat, például az emelkedést és az AUC-t sorolják fel.

A műszaki teljesítménymutatók „alapvetően haszontalanok az üzleti érdekelt felek számára, és el vannak választva azoktól” Harvard Data Science Review. Íme, miért: Csak azt mondják el relatív egy modell teljesítménye, például hogyan viszonyul a találgatásokhoz vagy egy másik alapállapothoz. Az üzleti mutatók megmondják abszolút a modelltől elvárt üzleti érték – vagy a bevezetés utáni értékelés során azt, hogy bebizonyosodott, hogy teljesít. Az ilyen mérőszámok elengedhetetlenek a telepítésközpontú ML-projektekhez.

Az üzleti mutatókhoz való hozzáférésen túl az üzleti érdekelt feleknek is fel kell lépniük. Amikor a Rexer-felmérés megkérdezte: „Az Ön szervezetének vezetői és döntéshozói, akiknek jóvá kell hagyniuk a modell bevezetését, általában elég tájékozottak ahhoz, hogy jól tájékozottan hozzák meg az ilyen döntéseket?” csak a válaszadók 49%-a válaszolt „legtöbbször” vagy „mindig”.

Íme, ami szerintem történik. Az adattudós „ügyfele”, az üzleti érdekelt fél gyakran hideg lábakon áll, amikor a telepítés engedélyezéséről van szó, hiszen az jelentős mértékű működési változtatást jelentene a vállalat legnagyobb léptékű folyamataiban. Nincs kontextuális keretük. Például azon töprengenek: „Hogyan értsem meg, hogy ez a kristálygömb tökéletességtől messzemenően visszafogott modell valójában mennyit fog segíteni?” Így a projekt elhal. Aztán a „megszerzett belátások” valamiféle pozitív felforgatása kreatívan arra szolgál, hogy szépen a szőnyeg alá söpörjük a kudarcot. Az AI-hype érintetlen marad, még akkor is, ha a potenciális érték, a projekt célja elvész.

Ebben a témában – az érdekelt felek felszaporítása – bedugom az új könyvemet, Az AI Playbook, csak még egyszer. Miközben a bizML gyakorlattal foglalkozik, a könyv az üzleti szakemberek készségeit is továbbfejleszti azáltal, hogy egy létfontosságú, de barátságos adag félig technikai háttértudást biztosít, amelyre minden érdekelt félnek szüksége van ahhoz, hogy gépi tanulási projekteket vezessenek vagy részt vegyenek azokban. Ez egy lapra helyezi az üzleti és adatszakértőket, így elmélyülten tudnak együttműködni, közösen precízen létrehozni milyen előrejelzésére van szükség a gépi tanulásnak, mennyire jósolja előre, és hogyan reagálnak az előrejelzései a műveletek javítására. Ezek az alapvető fontosságúak minden kezdeményezést elindítanak vagy megszakítanak – a megfelelő végrehajtásuk előkészíti az utat a gépi tanulás értékközpontú bevezetéséhez.

Nyugodtan kijelenthetjük, hogy a helyzet nehézkes, különösen az új, első próbálkozásra szánt ML-kezdeményezéseknél. Ahogy a mesterséges intelligencia hype puszta ereje elveszíti azt a képességét, hogy folyamatosan pótolja

Az ígértnél kevesebb realizált érték, egyre nagyobb lesz a nyomás az ML működési értékének bizonyítására.? Tehát azt mondom, haladjon előre – kezdje el a vállalatközi együttműködés és a bevezetés-orientált projektvezetés hatékonyabb kultúrájának meghonosítását!

Részletesebb eredményekért a 2023-as Rexer Analytics adattudományi felméréskettyenés itt. Ez az iparág legnagyobb adattudományi és elemzési szakemberei körében végzett felmérés. Körülbelül 35 feleletválasztós és nyílt végű kérdésből áll, amelyek sokkal többet fednek le, mint csak a telepítés sikerességi arányát – az adatbányászat tudományának és gyakorlatának hét általános területét: (1) Terület és célok, (2) Algoritmusok, (3) Modellek, ( 4) Eszközök (használt szoftvercsomagok), (5) Technológia, (6) Kihívások és (7) Jövő. Szolgáltatásként (vállalati szponzorálás nélkül) végzik az adattudományi közösség számára, és az eredményeket általában a következő címen teszik közzé a Machine Learning Week konferencia és szabadon elérhető összefoglaló jelentéseken keresztül osztják meg.

Ez a cikk a szerző munkájának eredménye, miközben egy évig a Bodily Bicentennial Professor analitika professzoraként dolgozott az UVA Darden School of Businessben, ami végül a Az AI Playbook: A gépi tanulás alkalmazásának ritka művészetének elsajátítása (ingyenes hangoskönyv ajánlat).

Eric Siegel, Ph.D., vezető tanácsadó és egykori Columbia Egyetem professzor, aki érthetővé és magával ragadóvá teszi a gépi tanulást. Ő az alapítója a Prediktív analitikai világ és a Mély tanulási világ konferencia sorozat, amely 17,000 óta több mint 2009 XNUMX résztvevőt szolgált ki, az elismert tanfolyam oktatója Gépi tanulási vezetés és gyakorlat – teljes körű elsajátítás, egy népszerű előadó, akit megbíztak 100+ vitaindító beszédés ügyvezető szerkesztője A gépi tanulási idők. A bestseller szerzője Prediktív analitika: Az erő megjósolni, ki fog kattintani, vásárolni, hazudni vagy meghalni, amelyet több mint 35 egyetem kurzusaiban használtak, és tanári díjat nyert, amikor a Columbia Egyetem professzora volt, ahol énekelt tanulságos dalok tanítványainak. Eric is publikál az elemzés és a társadalmi igazságosság témakörében. Kövesse őt a @predictanalytic.