Uuring: masinõppeprojektide juurutamine ebaõnnestub ikka veel – KDnuggets

Taasavaldanud Platon

järgijaid: 0

Kui sageli jõuavad masinõppeprojektid eduka juurutamiseni? Mitte piisavalt sageli. Seal on palju of tööstus teadustöö näidates et ML-projektid ei too tavaliselt tulu, kuid vähesed on mõõtnud ebaõnnestumiste ja edu suhet andmeteadlaste vaatenurgast – inimestest, kes töötavad välja just selliseid mudeleid, mida need projektid on mõeldud kasutusele võtma.

Jätkuna andmeteadlase uuring mida ma eelmisel aastal KDnuggetsiga tegin, selle aasta tööstusharu juhtivale andmeteaduse uuringule ML konsultatsioonifirma Rexer Analyticsi juhitud Rexer Analytics käsitles seda küsimust – osaliselt seetõttu, et Karl Rexer, ettevõtte asutaja ja president, lubas teie omal tõeliselt osaleda, ajendades kaasama juurutamise edukuse küsimusi (osa minu tööst üheaastase analüütikaprofessuuri ajal, mida pidasin UVA Dardenis).

Uudised pole suurepärased. Vaid 22% andmeteadlastest ütleb, et nende „revolutsioonilised” algatused – mudelid, mis on välja töötatud uue protsessi või võimekuse võimaldamiseks – rakendatakse tavaliselt. 43% ütleb, et 80% või rohkem ei suuda kasutusele võtta.

Üle kõik tüüpi ML-projektid – sealhulgas olemasolevate juurutuste mudelite värskendamine – vaid 32% ütleb, et nende mudelid tavaliselt juurutavad.

Siin on uuringu selle osa üksikasjalikud tulemused, mille on esitanud Rexer Analytics, jaotades kasutuselevõtumäärad kolme tüüpi ML-algatuste lõikes.

Uuring: masinõppeprojekte ei õnnestu ikka veel rutiinselt juurutada

Võti:

Olemasolevad algatused: Mudelid, mis on välja töötatud olemasoleva mudeli värskendamiseks, mis on juba edukalt juurutatud
Uued algatused: Mudelid, mis töötati välja olemasoleva protsessi täiustamiseks, mille jaoks ei olnud veel ühtegi mudelit kasutusele võetud
Revolutsioonilised algatused: Uue protsessi või võimaluse võimaldamiseks välja töötatud mudelid

Minu arvates tuleneb see võitlus kasutuselevõtuga kahest peamisest soodustavast tegurist: endeemiline alaplaneerimine ja ettevõtete sidusrühmad, kellel puudub konkreetne nähtavus. Paljud andmespetsialistid ja ettevõtete juhid ei ole aru saanud, et ML-i kavandatud kasutuselevõtt tuleb iga ML-projekti algusest peale väga üksikasjalikult kavandada ja agressiivselt järgida.

Tegelikult kirjutasin just sellest uue raamatu: AI mänguraamat: masinõppe juurutamise haruldase kunsti valdamine. Selles raamatus tutvustan juurutamisele keskendunud kuueastmelist praktikat masinõppeprojektide juhtimiseks kontseptsioonist juurutamiseni, mida ma nimetan. bizML (tellige ette kõvakaaneline või e-raamat ja saate heliraamatu versiooni tasuta täiustatud koopia kohe).

ML-projekti peamine sidusrühm – täiustamisele suunatud tegevuse tõhususe eest vastutav isik, näiteks ärivaldkonna juht – vajab täpselt nähtavust selle kohta, kuidas ML oma tegevust parandab ja kui palju väärtust täiustus eeldatavasti annab. Nad vajavad seda, et lõpuks valgustada mudeli kasutuselevõttu ja enne seda kaaluda projekti elluviimist kogu kasutuselevõtueelses etapis.

Kuid ML-i jõudlust sageli ei mõõdeta! Kui Rexeri uuringus küsiti: "Kui sageli teie ettevõte/organisatsioon analüütiliste projektide toimivust mõõdab?" vaid 48% andmeteadlastest ütlesid "alati" või "enamiku ajast". See on päris metsik. See peaks olema rohkem nagu 99% või 100%.

Ja kui toimivust mõõdetakse, siis tehniliste mõõdikute järgi, mis on salapärased ja enamasti ebaolulised ettevõtete sidusrühmade jaoks. Andmeteadlased teavad paremini, kuid üldiselt ei järgi – osaliselt seetõttu, et ML-tööriistad teenindavad tavaliselt ainult tehnilisi mõõdikuid. Uuringu kohaselt peavad andmeteadlased ettevõtte KPI-d, nagu ROI ja tulu, kõige olulisemateks mõõdikuteks, kuid kõige sagedamini mõõdetavateks loetlevad nad tehnilised mõõdikud, nagu tõus ja AUC.

Tehnilised jõudlusnäitajad on äritegevuse sidusrühmade jaoks põhimõtteliselt kasutud ja neist lahti ühendatud. Harvardi andmeteaduse ülevaade. Siin on põhjus: nad ütlevad teile ainult seda suhteline mudeli toimivus, näiteks selle võrdlus oletamisega või mõne muu lähtetasemega. Ärimõõdikud ütlevad teile absoluutne äriväärtust, mida mudel eeldatavasti annab – või kui hinnata pärast kasutuselevõttu, kas see on osutunud toimivaks. Sellised mõõdikud on kasutuselevõtule keskendunud ML-projektide jaoks hädavajalikud.

Lisaks ärimõõdikutele juurdepääsule peavad äritegevuse sidusrühmad ka hoogu minema. Kui Rexeri uuringus küsiti: "Kas teie organisatsiooni juhid ja otsustajad, kes peavad mudeli kasutuselevõtu heaks kiitma, on üldiselt piisavalt teadlikud, et teha selliseid otsuseid hästi informeeritud viisil?" vaid 49% vastanutest vastas "enamiku ajast" või "alati".

Siin on see, mis minu arvates toimub. Andmeteadlase "klient", ettevõtte sidusrühm, saavad kasutuselevõtu loa andmisel sageli külmad jalad, kuna see tähendaks ettevõtte kõige suuremahulistes protsessides olulist operatiivset muudatust. Neil puudub kontekstuaalne raamistik. Näiteks küsivad nad: "Kuidas ma saan aru, kui palju see kristallkuuli täiuslikkuse poolest kaugelt häbelik mudel tegelikult aitab?" Seega projekt sureb. Seejärel aitab "saadud arusaamadele" loominguline positiivse pöörde andmine ebaõnnestumise korralikult vaiba alla pühkida. AI-hüpe jääb puutumatuks ka siis, kui potentsiaalne väärtus ehk projekti eesmärk kaob.

Sellel teemal – sidusrühmade suurendamine – ühendan oma uue raamatu, AI mänguraamat, veel üks kord. Käsitledes bizML-i praktikat, tõstab raamat ka äriprofessionaalide oskusi, pakkudes olulise, kuid sõbraliku annuse pooltehnilisi taustteadmisi, mida kõik sidusrühmad vajavad masinõppeprojektide juhtimiseks või nendes osalemiseks. See asetab äri- ja andmespetsialistid ühele lehele, et nad saaksid teha sügavat koostööd ja ühiselt täpselt luua mida masinõpe ennustab, kui hästi see ennustab ja kuidas selle ennustusi toimimise parandamiseks toimitakse. Need olulised elemendid muudavad või katkestavad iga algatuse – nende õigeks saamine sillutab teed masinõppe väärtuspõhisele kasutuselevõtule.

Võib kindlalt öelda, et see on kivine, eriti uute, esmakordsete ML-algatuste puhul. Kuna tehisintellekti hüppeline jõud kaotab oma võime pidevalt tasa teha

Lubatust väiksem realiseeritud väärtus, tekib järjest suurem surve ML-i tegevusväärtuse tõestamiseks.? Nii et ma ütlen, et astuge sellest kohe ette – hakake juurutama tõhusamat ettevõtetevahelise koostöö kultuuri ja juurutamisele orienteeritud projektijuhtimist!

Üksikasjalikumate tulemuste saamiseks saidilt 2023. aasta Rexer Analyticsi andmeteaduse uuringklõps siin. See on valdkonna suurim andmeteaduse ja analüütika spetsialistide küsitlus. See koosneb ligikaudu 35 valikvastustega ja avatud küsimusest, mis hõlmavad palju enamat kui ainult juurutamise edukuse määra – seitse andmekaevandamise teaduse ja praktika üldist valdkonda: (1) valdkond ja eesmärgid, (2) algoritmid, (3) mudelid, ( 4) Tööriistad (kasutatud tarkvarapaketid), (5) tehnoloogia, (6) väljakutsed ja (7) tulevik. Seda osutatakse andmeteaduse kogukonnale teenusena (ilma ettevõtte sponsorluseta) ja tulemused teatatakse tavaliselt aadressil masinõppenädala konverentsil ja jagatud vabalt saadaolevate koondaruannete kaudu.

See artikkel on autori töö tulemus ajal, mil ta töötas üheaastase ametikoha kehalise kahesajanda aasta analüüsi professorina UVA Darden School of Businessis, mis lõpuks kulmineerus AI mänguraamat: masinõppe juurutamise haruldase kunsti valdamine (tasuta audioraamatu pakkumine).

Eric Siegel, Ph.D., on juhtiv konsultant ja endine Columbia ülikooli professor, kes muudab masinõppe arusaadavaks ja köitvaks. Ta on selle asutaja Ennustava analüüsi maailm ja Sügav õppimismaailm konverentsisari, mis on alates 17,000. aastast teenindanud üle 2009 XNUMX osaleja, on tunnustatud kursuse juhendaja Masinõppe juhtimine ja praktika – täielik meisterlikkus, populaarne esineja, kes on tellitud 100+ põhiettekannetja tegevtoimetaja Masinõppe ajad. Ta on bestselleri autor Ennustav analüütika: võime ennustada, kes klõpsab, ostab, valetab või sureb, mida on kasutatud enam kui 35 ülikooli kursustel ja ta võitis õppejõu auhindu, kui oli professor Columbia ülikoolis, kus ta laulis. õpetlikud laulud oma õpilastele. Eric avaldab ka analüütika ja sotsiaalse õigluse kohta. Jälgi teda kell @predictanalytic.