Опрос: проекты машинного обучения по-прежнему регулярно не развертываются – KDnuggets

Как часто проекты машинного обучения достигают успешного развертывания? Недостаточно часто. Есть много of промышленность исследованиям показ что проекты машинного обучения обычно не приносят отдачи, но очень немногие из них оценили соотношение неудач и успехов с точки зрения специалистов по обработке данных – людей, которые разрабатывают те самые модели, для развертывания которых предназначены эти проекты.

Вслед за опрос специалистов по данным который я проводил с KDnuggets в прошлом году, ведущее в отрасли исследование данных в этом году под руководством консалтинговой компании по машинному обучению Rexer Analytics, ответил на этот вопрос – отчасти потому, что Карл Рексер, основатель и президент компании, позволил вам принять участие, стимулируя включение вопросов об успешном развертывании (часть моей работы в течение одного года работы профессором аналитики, которую я занимал в UVA Дарден).

Новости не очень хорошие. Только 22% специалистов по данным говорят, что их «революционные» инициативы – модели, разработанные для реализации нового процесса или возможности – обычно реализуются. 43% говорят, что 80% или более не могут быть развернуты.

Через Найти типы проектов ML, включая обновление моделей для существующих развертываний, только 32% говорят, что их модели обычно развертываются.

Вот подробные результаты этой части опроса, представленные Rexer Analytics, с разбивкой показателей развертывания по трем видам инициатив ML:
 

Условные обозначения:

• Существующие инициативы: Модели, разработанные для обновления/обновления существующей модели, которая уже была успешно развернута.
• Новые инициативы: Модели, разработанные для улучшения существующего процесса, для которого еще не была развернута ни одна модель.
• Революционные инициативы: Модели, разработанные для реализации нового процесса или возможности.

На мой взгляд, эта борьба с развертыванием обусловлена ​​двумя основными факторами: повсеместным недопланированием и отсутствием у заинтересованных сторон конкретной прозрачности. Многие специалисты по данным и бизнес-лидеры не осознали, что предполагаемое внедрение ML должно планироваться очень детально и активно осуществляться с самого начала каждого проекта ML.

Фактически, я написал новую книгу именно об этом: Пособие по искусственному интеллекту: освоение редкого искусства развертывания машинного обучения. В этой книге я представляю ориентированную на развертывание шестиэтапную практику проведения проектов машинного обучения от концепции до развертывания, которую я называю бизнесМЛ (предварительно закажите книгу в твердом переплете или электронную книгу и получите бесплатную расширенную копию версии аудиокниги немедленно).

Ключевой заинтересованной стороне проекта ML – лицу, отвечающему за операционную эффективность, которую планируется улучшить, например менеджеру направления бизнеса – необходимо четкое представление о том, как именно ML улучшит их операции и какую ценность, как ожидается, принесет улучшение. Это необходимо им для того, чтобы в конечном итоге дать зеленый свет развертыванию модели, а также для того, чтобы перед этим оценить ход реализации проекта на всех этапах, предшествующих развертыванию.

Но производительность ML часто не измеряется! Когда в опросе Rexer был задан вопрос: «Как часто ваша компания/организация измеряет эффективность аналитических проектов?» только 48% специалистов по данным сказали «Всегда» или «Большую часть времени». Это довольно дико. Должно быть больше 99% или 100%.

А когда производительность измеряется, то это с точки зрения технических показателей, которые являются загадочными и по большей части не имеют отношения к заинтересованным сторонам бизнеса. Специалисты по обработке данных знают лучше, но, как правило, не подчиняются – отчасти потому, что инструменты ML обычно предоставляют только технические показатели. Согласно опросу, ученые, работающие с данными, считают ключевые показатели эффективности бизнеса, такие как рентабельность инвестиций и доход, наиболее важными показателями, однако они называют технические показатели, такие как подъем и AUC, наиболее часто измеряемыми.

По мнению компании, технические показатели производительности «фундаментально бесполезны для заинтересованных сторон и не связаны с ними». Гарвардский обзор науки о данных. И вот почему: они говорят вам только относительный производительность модели, например, ее сравнение с предположениями или другими базовыми показателями. Бизнес-метрики расскажут вам абсолютный ценность для бизнеса, которую, как ожидается, принесет модель, или, при оценке после развертывания, которую она доказала. Такие метрики необходимы для проектов машинного обучения, ориентированных на развертывание.

Помимо доступа к бизнес-метрикам, заинтересованным сторонам бизнеса также необходимо активизировать свои усилия. Когда в опросе Rexer был задан вопрос: «Являются ли менеджеры и лица, принимающие решения в вашей организации, которые должны утверждать развертывание модели, в целом достаточно осведомлены, чтобы принимать такие решения хорошо информированным образом?» только 49% респондентов ответили «Большую часть времени» или «Всегда».

Вот что, по моему мнению, происходит. «Клиент» специалиста по данным, заинтересованная сторона бизнеса, часто робеет, когда дело доходит до разрешения развертывания, поскольку это означало бы внесение значительных операционных изменений в хлеб с маслом компании, ее самые масштабные процессы. У них нет контекстуальной основы. Например, они задаются вопросом: «Как мне понять, насколько эта модель, производительность которой далека от совершенства хрустального шара, на самом деле поможет?» Таким образом проект умирает. Затем творческий подход к «полученным открытиям» поможет аккуратно замести неудачу под ковер. Ажиотаж вокруг ИИ остается неизменным, даже несмотря на то, что потенциальная ценность и цель проекта потеряны.

По этой теме – привлечение заинтересованных сторон – я выложу свою новую книгу, Руководство по искусственному интеллекту, еще один раз. Описывая практику bizML, книга также повышает квалификацию бизнес-профессионалов, предоставляя жизненно важную, но дружественную дозу полутехнических базовых знаний, которые необходимы всем заинтересованным сторонам для того, чтобы руководить или участвовать в проектах машинного обучения на протяжении всего процесса. Это ставит профессионалов бизнеса и данных на одну страницу, позволяя им тесно сотрудничать, совместно устанавливая точные что машинное обучение призвано предсказывать, насколько хорошо оно прогнозирует и как его прогнозы используются для улучшения операций. Эти важные моменты определяют или разрушают каждую инициативу — правильное их выполнение прокладывает путь к ценному развертыванию машинного обучения.

Можно с уверенностью сказать, что ситуация непростая, особенно для новых, впервые реализованных инициатив в области машинного обучения. Поскольку чистая сила ажиотажа вокруг ИИ теряет способность постоянно компенсировать

меньше реализованной стоимости, чем было обещано, будет все больше и больше давления, чтобы доказать операционную ценность ML.? Поэтому я говорю: опередите это сейчас – начните внедрять более эффективную культуру межкорпоративного сотрудничества и руководства проектами, ориентированного на развертывание!

Для получения более подробных результатов из Исследование Rexer Analytics в области обработки данных, 2023 г., нажмите здесь. Это крупнейший опрос специалистов в области науки о данных и аналитики в отрасли. Он состоит примерно из 35 вопросов с множественным выбором и открытых вопросов, которые охватывают гораздо больше, чем просто показатели успешности развертывания – семь общих областей науки и практики интеллектуального анализа данных: (1) Область и цели, (2) Алгоритмы, (3) Модели, ( 4) Инструменты (используемые пакеты программного обеспечения), (5) Технологии, (6) Проблемы и (7) Будущее. Оно проводится как услуга (без корпоративного спонсорства) сообществу специалистов по обработке и анализу данных, а результаты обычно объявляются по адресу: конференция «Неделя машинного обучения» и распространяются через свободно доступные сводные отчеты.
 

Эта статья является результатом работы автора, в течение года он занимал должность профессора аналитики в Дарденской школе бизнеса UVA в течение одного года, что в конечном итоге завершилось публикацией Пособие по искусственному интеллекту: освоение редкого искусства развертывания машинного обучения (бесплатное предложение аудиокниги).

Эрик СигельДоктор философии, ведущий консультант и бывший профессор Колумбийского университета, который делает машинное обучение понятным и увлекательным. Он является основателем Прогнозная аналитика мира и Мир глубокого обучения серия конференций, которые с 17,000 года обслужили более 2009 XNUMX участников, преподаватель известного курса Лидерство и практика машинного обучения — сквозное мастерство, популярный оратор, получивший заказ Более 100 основных выступлений, и ответственный редактор Время машинного обучения. Он является автором бестселлера Предиктивная аналитика: возможность предсказать, кто нажмет, купит, солгает или умрет, который использовался на курсах в более чем 35 университетах, и он выиграл педагогические награды, когда был профессором Колумбийского университета, где пел обучающие песни своим ученикам. Эрик также издает обзоры по аналитике и социальной справедливости, Следуйте за ним в @predictanalytic.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://www.kdnuggets.com/survey-machine-learning-projects-still-routinely-fail-to-deploy?utm_source=rss&utm_medium=rss&utm_campaign=survey-machine-learning-projects-still-routinely-fail-to-deploy