Ankieta: Projekty uczenia maszynowego nadal często nie są wdrażane – KDnuggets

Jak często projekty uczenia maszynowego kończą się pomyślnym wdrożeniem? Niezbyt często. Jest mnóstwo of przemysł Badania naukowe seans że projekty uczenia maszynowego często nie przynoszą zysków, ale bardzo niewiele z nich oszacowało stosunek niepowodzeń do sukcesu z perspektywy analityków danych – osób, które opracowują modele, które te projekty mają wdrażać.

Nawiązując do badanie analityków danych które przeprowadziłem z KDnuggets w zeszłym roku, tegoroczne wiodące w branży badanie Data Science Survey prowadzona przez firmę konsultingową ML Rexer Analytics odniosła się do tej kwestii – po części dlatego, że Karl Rexer, założyciel i prezes firmy, pozwolił Twojej firmie naprawdę wziąć w tym udział, zachęcając do włączenia pytań o powodzenie wdrożenia (część mojej pracy podczas rocznej profesury analityki, którą piastowałem w UVA Darden).

Wiadomości nie są wspaniałe. Tylko 22% analityków danych twierdzi, że ich „rewolucyjne” inicjatywy – modele opracowane w celu umożliwienia nowego procesu lub możliwości – są zwykle wdrażane. 43% twierdzi, że 80% lub więcej rozwiązań nie zostaje wdrożonych.

Przez cała kolekcja rodzaje projektów ML – w tym odświeżanie modeli istniejących wdrożeń – tylko 32% twierdzi, że ich modele są zwykle wdrażane.

Oto szczegółowe wyniki tej części ankiety, przedstawione przez Rexer Analytics, z podziałem na wskaźniki wdrożeń w trzech rodzajach inicjatyw ML:
 

Klawisz:

• Istniejące inicjatywy: Modele opracowane w celu aktualizacji/odświeżenia istniejącego modelu, który został już pomyślnie wdrożony
• Nowe inicjatywy: Modele opracowane w celu ulepszenia istniejącego procesu, dla którego nie wdrożono jeszcze żadnego modelu
• Inicjatywy rewolucyjne: Modele opracowane w celu umożliwienia nowego procesu lub możliwości

Moim zdaniem trudności we wdrażaniu wynikają z dwóch głównych czynników: powszechnego niedostatecznego planowania i braku konkretnej widoczności interesariuszy biznesowych. Wielu specjalistów ds. danych i liderów biznesowych nie zdaje sobie sprawy, że zamierzona operacjonalizacja ML musi być planowana bardzo szczegółowo i agresywnie realizowana od samego początku każdego projektu ML.

Właściwie to napisałem nową książkę właśnie na ten temat: Poradnik AI: Opanowanie rzadkiej sztuki wdrażania uczenia maszynowego. W tej książce przedstawiam skoncentrowaną na wdrażaniu, składającą się z sześciu kroków praktykę przeprowadzania projektów uczenia maszynowego od koncepcji do wdrożenia, którą nazywam bizML (zamów w przedsprzedaży książkę w twardej oprawie lub e-book i otrzymaj bezpłatną zaawansowaną kopię wersji audiobooka od razu).

Kluczowy interesariusz projektu ML – osoba odpowiedzialna za efektywność operacyjną mającą na celu poprawę, np. menedżer liniowy – potrzebuje wglądu w to, w jaki sposób ML usprawni swoje operacje i jaką wartość ma przynieść to ulepszenie. Potrzebują tego, aby ostatecznie dać zielone światło na wdrożenie modelu, a także, aby wcześniej ocenić realizację projektu na etapach przedwdrożeniowych.

Ale wydajność ML często nie jest mierzona! Kiedy w ankiecie Rexera zadano pytanie: „Jak często Twoja firma/organizacja mierzy wydajność projektów analitycznych?” tylko 48% analityków danych odpowiedziało „zawsze” lub „w większości przypadków”. To całkiem dzikie. Powinno być raczej 99% lub 100%.

A gdy wydajność mierzy się, to za pomocą wskaźników technicznych, które są niejasne i w większości nieistotne dla interesariuszy biznesowych. Analitycy danych wiedzą lepiej, ale generalnie tego nie przestrzegają – po części dlatego, że narzędzia ML zazwyczaj służą jedynie do pomiaru wskaźników technicznych. Według ankiety analitycy danych uznają biznesowe KPI, takie jak ROI i przychody, za najważniejsze wskaźniki, chociaż jako najczęściej mierzone wymieniają wskaźniki techniczne, takie jak wzrost i AUC.

Według nich wskaźniki wydajności technicznej są „zasadniczo bezużyteczne i oderwane od interesariuszy biznesowych”. Przegląd nauki o danych Harvardu. Oto dlaczego: Mówią ci tylko względny wydajność modelu, na przykład jego porównanie ze zgadywaniem lub inną wartością bazową. Wskaźniki biznesowe mówią Ci bezwzględny wartość biznesową, jaką ma dostarczyć model – lub, podczas oceny po wdrożeniu, jaką udowodnił, że zapewnia. Takie wskaźniki są niezbędne w przypadku projektów ML skoncentrowanych na wdrażaniu.

Oprócz dostępu do wskaźników biznesowych, interesariusze biznesowi muszą również zwiększyć swój poziom. Kiedy w ankiecie firmy Rexer zadano pytanie: „Czy menedżerowie i decydenci w Twojej organizacji, którzy muszą zatwierdzić wdrożenie modelu, są ogólnie wystarczająco kompetentni, aby podejmować takie decyzje w sposób świadomy?” jedynie 49% respondentów odpowiedziało „w większości przypadków” lub „zawsze”.

Oto, co według mnie się dzieje. „Klient analityka danych”, interesariusz biznesowy, często ma wątpliwości, jeśli chodzi o autoryzację wdrożenia, ponieważ oznaczałoby to wprowadzenie znaczących zmian operacyjnych w podstawowych procesach firmy, czyli procesach na największą skalę. Nie mają ram kontekstowych. Na przykład zastanawiają się: „Jak mam zrozumieć, w jakim stopniu ten model, który w działaniu jest daleki od doskonałości kryształowej kuli, faktycznie pomoże?” W ten sposób projekt umiera. Następnie twórcze nadanie „zdobytym spostrzeżeniom” pozytywnego charakteru pozwala na zamiatanie niepowodzeń pod dywan. Szum AI pozostaje nienaruszony nawet wtedy, gdy potencjalna wartość, czyli cel projektu, zostaje utracona.

Na ten temat – wzmacnianie interesariuszy – podłączę moją nową książkę, Podręcznik AI, jeszcze tylko raz. Omawiając praktykę bizML, książka podnosi również umiejętności profesjonalistów biznesowych, dostarczając istotnej, ale przyjaznej dawki półtechnicznej wiedzy podstawowej, której wszyscy interesariusze potrzebują, aby od początku do końca prowadzić projekty uczenia maszynowego lub uczestniczyć w nich. Dzięki temu specjaliści ds. biznesu i danych znajdują się na tej samej stronie, dzięki czemu mogą ściśle współpracować, wspólnie ustalając precyzyjne cele co uczenie maszynowe ma przewidywać, jak dobrze przewiduje i w jaki sposób jego przewidywania są wykorzystywane w celu usprawnienia operacji. Te podstawowe elementy decydują o każdej inicjatywie lub zakłócają ją – prawidłowe ich wykonanie toruje drogę do wdrożenia uczenia maszynowego opartego na wartościach.

Można śmiało powiedzieć, że sytuacja jest niepewna, zwłaszcza w przypadku nowych inicjatyw w zakresie uczenia maszynowego rozpoczynających się po raz pierwszy. Ponieważ sama siła szumu związanego ze sztuczną inteligencją traci zdolność do ciągłego nadrabiania

mniej zrealizowanej wartości niż obiecano, będzie coraz większa presja, aby udowodnić wartość operacyjną ML. Dlatego mówię: wyprzedź to już teraz – zacznij zaszczepiać bardziej efektywną kulturę współpracy między przedsiębiorstwami i przywództwa projektowego zorientowanego na wdrażanie!

Aby uzyskać bardziej szczegółowe wyniki z Ankieta dotycząca nauki o danych firmy Rexer Analytics 2023kliknij tutaj. To największe badanie przeprowadzone wśród specjalistów zajmujących się analizą danych i analityką w branży. Składa się z około 35 pytań otwartych i wielokrotnego wyboru, które obejmują znacznie więcej niż tylko wskaźniki powodzenia wdrożeń – siedem ogólnych obszarów nauki i praktyki eksploracji danych: (1) Dziedzina i cele, (2) Algorytmy, (3) Modele, ( 4) Narzędzia (wykorzystane pakiety oprogramowania), (5) Technologia, (6) Wyzwania i (7) Przyszłość. Jest przeprowadzany jako usługa (bez sponsoringu korporacyjnego) na rzecz społeczności zajmującej się nauką o danych, a wyniki są zwykle ogłaszane pod adresem konferencji Tydzień uczenia maszynowego i udostępniane za pośrednictwem ogólnodostępnych raportów zbiorczych.
 

Artykuł ten powstał w wyniku pracy autora w czasie jego rocznego stanowiska profesora analityki z okazji 200-lecia ciała w UVA Darden School of Business, którego zwieńczeniem była publikacja: Poradnik AI: Opanowanie rzadkiej sztuki wdrażania uczenia maszynowego (oferta bezpłatnych audiobooków).

Erica Siegela, Ph.D., jest wiodącym konsultantem i byłym profesorem Uniwersytetu Columbia, który sprawia, że ​​uczenie maszynowe jest zrozumiałe i wciągające. Jest założycielem Analityka predykcyjna na świecie . oraz Świat głębokiego uczenia się cykl konferencji, w których od 17,000 roku wzięło udział ponad 2009 XNUMX uczestników, instruktor cenionego kursu Przywództwo i praktyka uczenia maszynowego — opanowanie od końca do końca, popularny mówca, który otrzymał zamówienie Ponad 100 przemówień głównychoraz redaktor naczelny Czasy uczenia maszynowego. Jest autorem bestsellera Analityka predykcyjna: moc przewidywania, kto kliknie, kupi, kłamie lub umrze, który był używany na kursach na ponad 35 uniwersytetach, a nagrody pedagogiczne zdobył, gdy był profesorem na Uniwersytecie Columbia, gdzie śpiewał piosenki edukacyjne do swoich uczniów. Eric również publikuje artykuły na temat analityki i sprawiedliwości społecznej. Śledź go o @predyktanalityczny.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://www.kdnuggets.com/survey-machine-learning-projects-still-routinely-fail-to-deploy?utm_source=rss&utm_medium=rss&utm_campaign=survey-machine-learning-projects-still-routinely-fail-to-deploy