Survey: Machine Learning Projects Still Routinely Fail To Deploy - KDnuggets

Republicat de Platon

Urmaritori: 0

Cât de des ajung proiectele de învățare automată la implementare cu succes? Nu destul de des. Există mulțime of industrie cercetare arătând că proiectele ML de obicei nu reușesc să ofere profituri, dar puțini prețioși au măsurat raportul dintre eșec și succes din perspectiva cercetătorilor de date - cei care dezvoltă modelele pe care aceste proiecte sunt menite să le implementeze.

Ca urmare a un sondaj de date pe care am condus-o cu KDnuggets anul trecut, Sondajul Data Science de anul acesta, lider în industrie condusă de compania de consultanță ML Rexer Analytics a abordat întrebarea – în parte pentru că Karl Rexer, fondatorul și președintele companiei, a permis participarea dvs. cu adevărat, conducând la includerea întrebărilor despre succesul implementării (parte a muncii mele în timpul unui profesor de analiză de un an pe care l-am ocupat). la UVA Darden).

Vestea nu este grozavă. Doar 22% dintre cercetătorii de date spun că inițiativele lor „revoluționare” – modele dezvoltate pentru a permite un nou proces sau capacitate – sunt de obicei implementate. 43% spun că 80% sau mai mult nu reușesc să se implementeze.

Peste toate tipuri de proiecte ML – inclusiv modele de reîmprospătare pentru implementările existente – doar 32% spun că modelele lor sunt implementate de obicei.

Iată rezultatele detaliate ale acelei părți a sondajului, așa cum sunt prezentate de Rexer Analytics, defalcând ratele de implementare în trei tipuri de inițiative ML:

Sondaj: proiectele de învățare automată încă nu reușesc să se implementeze în mod obișnuit

Cheie:

Inițiative existente: Modele dezvoltate pentru a actualiza/reîmprospăta un model existent care a fost deja implementat cu succes
Noi inițiative: Modele dezvoltate pentru a îmbunătăți un proces existent pentru care niciun model nu a fost deja implementat
Inițiative revoluționare: Modele dezvoltate pentru a permite un nou proces sau capacitate

Din punctul meu de vedere, această luptă de desfășurare provine din doi factori principali care contribuie: subplanificarea endemică și părțile interesate de afaceri lipsite de vizibilitate concretă. Mulți profesioniști în domeniul datelor și lideri de afaceri nu au ajuns să recunoască faptul că operaționalizarea intenționată a ML trebuie planificată în detaliu și urmărită agresiv încă de la începutul fiecărui proiect ML.

De fapt, am scris o carte nouă despre asta: The AI Playbook: Stăpânirea artei rare a implementării învățării automate. În această carte, introduc o practică axată pe implementare, în șase pași, pentru introducerea proiectelor de învățare automată de la concepție până la implementare, pe care o numesc bizML (comandați în prealabil coperta cartonată sau cartea electronică și primiți gratuit o copie avansată a versiunii audiobook imediat).

Părțile interesate cheie ale unui proiect ML – persoana responsabilă cu eficacitatea operațională vizată de îmbunătățire, cum ar fi un manager de linie de afaceri – are nevoie de vizibilitate asupra modului în care ML își va îmbunătăți operațiunile și cât de multă valoare se așteaptă să ofere îmbunătățirea. Au nevoie de acest lucru pentru a da undă verde în cele din urmă implementării unui model, precum și pentru a, înainte de aceasta, să influențeze execuția proiectului pe parcursul etapelor premergătoare implementării.

Dar performanța ML de multe ori nu este măsurată! Când sondajul Rexer a întrebat: „Cât de des măsoară compania/organizația dumneavoastră performanța proiectelor analitice?” doar 48% dintre cercetătorii de date au spus „Întotdeauna” sau „De cele mai multe ori”. Este destul de sălbatic. Ar trebui să fie mai mult ca 99% sau 100%.

Și atunci când performanța este măsurată, este în termeni de metrici tehnice care sunt arcane și în mare parte irelevante pentru părțile interesate de afaceri. Oamenii de știință de date știu mai bine, dar, în general, nu se conformează – în parte, deoarece instrumentele ML oferă în general doar valori tehnice. Potrivit sondajului, oamenii de știință în domeniul datelor clasează KPI-urile de afaceri, cum ar fi rentabilitatea investiției și veniturile, ca fiind cele mai importante valori, totuși listează valori tehnice precum creșterea și AUC ca fiind cele mai frecvent măsurate.

Măsurile de performanță tehnică sunt „principal inutile și deconectate de la părțile interesate de afaceri”, potrivit Harvard Data Science Review. Iată de ce: îți spun doar relativ performanța unui model, cum ar fi modul în care se compară cu ghicitul sau cu o altă linie de bază. Valorile de afaceri vă spun absolut valoarea de afaceri pe care modelul este de așteptat să o ofere – sau, atunci când se evaluează după implementare, că s-a dovedit că o oferă. Astfel de metrici sunt esențiale pentru proiectele ML axate pe implementare.

Dincolo de accesul la valorile de afaceri, părțile interesate din afaceri trebuie, de asemenea, să accelereze. Când sondajul Rexer a întrebat: „Manegerii și factorii de decizie din organizația dvs. care trebuie să aprobe implementarea modelului sunt, în general, suficient de bine informați pentru a lua astfel de decizii într-un mod bine informat?” doar 49% dintre respondenți au răspuns „De cele mai multe ori” sau „Întotdeauna”.

Iată ce cred că se întâmplă. „Clientul” cercetătorului de date, părțile interesate de afaceri, de multe ori se înghesuie atunci când vine vorba de autorizarea implementării, deoarece ar însemna o schimbare operațională semnificativă a proceselor la scară largă ale companiei. Ei nu au cadrul contextual. De exemplu, ei se întreabă: „Cum să înțeleg cât de mult va ajuta acest model, care nu are perfecțiunea sferei de cristal?” Astfel proiectul moare. Apoi, a pune creativ un fel de întorsătură pozitivă asupra „perspecțiilor obținute” servește pentru a mătura cu grijă eșecul sub covor. Exagerarea AI rămâne intactă chiar dacă valoarea potențială, scopul proiectului, se pierde.

Pe acest subiect – creșterea părților interesate – îmi voi conecta noua carte, AI Playbook, doar inca o data. În timp ce acoperă practica bizML, cartea îmbunătățește, de asemenea, abilitățile profesioniștilor din afaceri, oferind o doză vitală, dar prietenoasă de cunoștințe de bază semitehnice de care au nevoie toate părțile interesate pentru a conduce sau a participa la proiecte de învățare automată, de la capăt la capăt. Acest lucru pune pe aceeași pagină profesioniștii din domeniul afacerilor și al datelor, astfel încât aceștia să poată colabora profund, stabilind împreună cu precizie ce învățarea automată este chemată să prezică, cât de bine prezice și cum se acționează predicțiile sale pentru a îmbunătăți operațiunile. Aceste elemente esențiale fac sau distrug fiecare inițiativă – a le corecta deschide calea pentru implementarea învățării automate bazată pe valoare.

Este sigur să spunem că este o problemă, mai ales pentru inițiativele ML noi, de primă încercare. Pe măsură ce forța absolută a hype-ului AI își pierde capacitatea de a compensa continuu

valoare realizată mai puțin decât a promis, va exista din ce în ce mai multă presiune pentru a dovedi valoarea operațională a ML.? Așa că spun, treceți înaintea acestui lucru acum – începeți să insufleți o cultură mai eficientă a colaborării între întreprinderi și a conducerii de proiect orientate spre implementare!

Pentru rezultate mai detaliate de la 2023 Rexer Analytics Data Science Survey, Faceți clic pe aici. Acesta este cel mai mare sondaj al profesioniștilor din domeniul științei datelor și al analizei din industrie. Constă din aproximativ 35 de întrebări cu răspunsuri multiple și cu răspunsuri deschise care acoperă mult mai mult decât ratele de succes ale implementării – șapte domenii generale ale științei și practicii minării datelor: (1) Domeniu și obiective, (2) Algoritmi, (3) Modele, ( 4) Instrumente (pachete software utilizate), (5) Tehnologie, (6) Provocări și (7) Viitor. Este desfășurat ca un serviciu (fără sponsorizare corporativă) pentru comunitatea științei datelor, iar rezultatele sunt de obicei anunțate la conferința Săptămâna învățării automate și partajate prin intermediul rapoartelor rezumative disponibile gratuit.

Acest articol este un produs al lucrării autorului în timp ce a ocupat o funcție de un an ca profesor de analiză pentru bicentenarul corporal la UVA Darden School of Business, care a culminat în cele din urmă cu publicarea The AI Playbook: Stăpânirea artei rare a implementării învățării automate (oferta de carte audio gratuita).

Eric Siegel, Ph.D., este un consultant de frunte și fost profesor de la Universitatea Columbia, care face ca învățarea automată să fie înțeleasă și captivantă. El este fondatorul Lumea analizei predictive si Lumea Deep Learning serie de conferințe, care au servit peste 17,000 de participanți din 2009, instructorul cursului apreciat Conducere și practică în învățarea automată – Stăpânire de la capăt la capăt, un vorbitor popular care a fost comandat pentru Peste 100 de discursuri principale, și editor executiv al Timpurile de învățare automată. El a fost autorul bestsellerului Analiză predictivă: puterea de a prezice cine va face clic, cumpăra, minți sau muri, care a fost folosit în cursuri la peste 35 de universități și a câștigat premii didactice când era profesor la Universitatea Columbia, unde a cântat cântece educative elevilor săi. Eric publică și el opinii despre analitică și justiție socială. Urmați-l la @predictanalitic.