설문 조사: 기계 학습 프로젝트는 여전히 정기적으로 배포에 실패합니다 - KDnuggets

플라톤에 의해 재발행

팔로워 : 0

기계 학습 프로젝트가 얼마나 자주 성공적인 배포에 도달합니까? 자주는 아닙니다. 있다 많은 of 산업 연구 보여주는 ML 프로젝트는 일반적으로 수익을 제공하지 못하지만 데이터 과학자, 즉 이러한 프로젝트에 배포할 모델을 개발하는 사람들의 관점에서 실패 대 성공의 비율을 측정한 사람은 거의 없습니다.

위로 다음 데이터 과학자 설문조사 작년에 KDnuggets와 함께 진행했던 올해 업계 최고의 데이터 과학 설문조사 ML 컨설팅 회사인 Rexer Analytics가 운영하는 Rexer Analytics가 이 질문을 해결했습니다. 부분적으로는 회사의 창립자이자 사장인 Karl Rexer가 여러분의 진정한 참여를 허용하여 배포 성공에 대한 질문을 포함하도록 유도했기 때문입니다. UVA Darden에서).

소식이 좋지 않아요. 데이터 과학자 중 22%만이 새로운 프로세스나 기능을 활성화하기 위해 개발된 모델인 "혁신적인" 이니셔티브가 일반적으로 배포된다고 말합니다. 43%는 80% 이상이 배포에 실패한다고 말합니다.

건너서 모든 기존 배포를 위한 모델 새로 고침을 포함한 다양한 종류의 ML 프로젝트에서는 해당 모델이 일반적으로 배포된다고 응답한 비율이 32%에 불과했습니다.

다음은 Rexer Analytics에서 제시한 설문 조사 부분의 세부 결과로 세 가지 종류의 ML 이니셔티브에 대한 배포 비율을 분류한 것입니다.

설문 조사: 기계 학습 프로젝트는 여전히 정기적으로 배포에 실패합니다.

키 :

기존 이니셔티브: 이미 성공적으로 배포된 기존 모델을 업데이트/새로 고치기 위해 개발된 모델
새로운 이니셔티브: 아직 모델이 배포되지 않은 기존 프로세스를 향상하기 위해 개발된 모델
혁신적인 계획: 새로운 프로세스나 기능을 가능하게 하기 위해 개발된 모델

내 생각에는 배포에 대한 이러한 어려움은 두 가지 주요 기여 요인, 즉 고질적인 과소 계획과 구체적인 가시성이 부족한 비즈니스 이해관계자에서 비롯됩니다. 많은 데이터 전문가와 비즈니스 리더는 ML의 의도된 운영이 매우 세부적으로 계획되고 모든 ML 프로젝트 시작부터 공격적으로 추구되어야 한다는 사실을 인식하지 못했습니다.

사실 저는 바로 이에 관한 새 책을 썼습니다. AI 플레이북: 머신러닝 배포의 희귀한 기술 익히기. 이 책에서는 개념부터 배포까지 기계 학습 프로젝트를 안내하기 위한 배포 중심의 6단계 실습을 소개합니다. 비즈ML (하드커버나 전자책을 선주문하고 오디오북 버전의 고급 사본을 무료로 받으세요 곧).

ML 프로젝트의 주요 이해관계자(사업부 관리자 등 개선 대상 운영 효율성 담당자)는 ML이 운영을 어떻게 개선하고 개선이 얼마나 많은 가치를 제공할 것으로 예상되는지에 대한 정확한 가시성을 필요로 합니다. 궁극적으로 모델 배포를 승인하고 그 전에 배포 전 단계 전체에서 프로젝트 실행을 평가하려면 이것이 필요합니다.

하지만 ML의 성능은 측정되지 않는 경우가 많습니다. Rexer 설문조사에서 "귀하의 회사/조직은 분석 프로젝트의 성과를 얼마나 자주 측정합니까?"라고 물었을 때, 데이터 과학자 중 48%만이 "항상" 또는 "대부분의 경우"라고 답했습니다. 꽤 거칠다. 99%나 100% 이상이어야 합니다.

그리고 성과를 측정할 때 이는 난해하고 대부분 비즈니스 이해관계자와 관련이 없는 기술적 지표의 측면에서 이루어집니다. 데이터 과학자는 더 잘 알고 있지만 일반적으로 이를 따르지 않습니다. 부분적으로 ML 도구는 일반적으로 기술적인 측정항목만 제공하기 때문입니다. 설문 조사에 따르면 데이터 과학자들은 ROI 및 수익과 같은 비즈니스 KPI를 가장 중요한 지표로 평가하지만 리프트 및 AUC와 같은 기술 지표를 가장 일반적으로 측정되는 지표로 나열합니다.

기술 성과 지표는 "비즈니스 이해관계자에게 근본적으로 쓸모가 없으며 연결이 끊어져 있습니다"라고 합니다. 하버드 데이터 사이언스 리뷰. 그 이유는 다음과 같습니다. 상대적인 추측이나 다른 기준과 비교하는 방법과 같은 모델의 성능. 비즈니스 지표는 다음을 알려줍니다. 순수한 모델이 제공할 것으로 예상되는 비즈니스 가치 또는 배포 후 평가 시 제공하는 것으로 입증된 비즈니스 가치입니다. 이러한 측정항목은 배포 중심의 ML 프로젝트에 필수적입니다.

비즈니스 지표에 대한 액세스 외에도 비즈니스 이해관계자도 역량을 강화해야 합니다. Rexer 설문 조사에서 "모델 배포를 승인해야 하는 조직의 관리자와 의사 결정자는 충분한 정보를 바탕으로 그러한 결정을 내릴 만큼 일반적으로 지식이 있습니까?"라고 물었습니다. 응답자의 49%만이 "대부분" 또는 "항상"이라고 답했습니다.

제가 믿는 일이 일어나고 있습니다. 데이터 과학자의 "클라이언트", 즉 비즈니스 이해관계자는 배포 승인에 관해 종종 냉담해 하는 경우가 많습니다. 이는 회사의 최대 규모 프로세스인 회사의 기본 사항에 상당한 운영 변화를 가져오는 것을 의미하기 때문입니다. 상황에 맞는 틀이 없습니다. 예를 들어, 그들은 "수정구슬 완벽함과는 거리가 먼 이 모델이 실제로 얼마나 도움이 될지 어떻게 이해할 수 있을까?"라고 궁금해합니다. 따라서 프로젝트는 종료됩니다. 그런 다음 "얻은 통찰력"에 일종의 긍정적인 변화를 창의적으로 적용하면 실패를 깔개 밑으로 깔끔하게 쓸어버릴 수 있습니다. 프로젝트의 목적인 잠재적 가치가 상실되더라도 AI의 과대광고는 그대로 유지됩니다.

이해관계자 확대라는 주제에 대해 저는 새 책을 연결하겠습니다. AI 플레이북, 딱 한번만 다시. 이 책은 bizML 실무를 다루는 동시에 모든 이해관계자가 기계 학습 프로젝트를 끝까지 주도하거나 참여하는 데 필요한 중요하면서도 친숙한 준기술적 배경 지식을 제공하여 비즈니스 전문가의 기술을 향상시킵니다. 이를 통해 비즈니스 전문가와 데이터 전문가가 같은 페이지에 있게 되므로 깊이 협력하고 함께 정확하게 구축할 수 있습니다. 예측을 위해 어떤 기계 학습이 필요한지, 얼마나 잘 예측하는지, 운영 개선을 위해 예측이 어떻게 실행되는지. 이러한 필수 요소는 각 이니셔티브를 성사시키거나 중단시킵니다. 이를 올바르게 수행하면 기계 학습의 가치 중심 배포를 위한 길을 열 수 있습니다.

특히 새로운 최초 시도 ML 이니셔티브의 경우 상황이 험난하다고 해도 과언이 아닙니다. AI 과대광고의 힘이 지속적으로 보완할 수 있는 능력을 상실함에 따라

약속한 것보다 실현 가치가 낮으면 ML의 운영 가치를 입증해야 한다는 압박이 점점 더 커질 것입니다.? 따라서 지금 앞서 나가십시오. 기업 간 협업과 배포 지향 프로젝트 리더십의 보다 효과적인 문화를 주입하기 시작하십시오!

좀 더 자세한 결과를 보시려면 2023년 Rexer Analytics 데이터 과학 설문조사클릭 여기에서 지금 확인해 보세요.. 이는 업계 데이터 과학 및 분석 전문가를 대상으로 한 최대 규모의 설문조사입니다. 이는 배포 성공률 그 이상을 다루는 약 35개의 객관식 및 개방형 질문으로 구성됩니다. 이는 데이터 마이닝 과학 및 실무의 1가지 일반 영역입니다. (2) 필드 및 목표, (3) 알고리즘, (4) 모델, ( 5) 도구(사용된 소프트웨어 패키지), (6) 기술, (7) 과제, (XNUMX) 미래. 이는 데이터 과학 커뮤니티에 대한 서비스(기업 후원 없이)로 수행되며 결과는 일반적으로 다음에서 발표됩니다. 머신러닝 위크 컨퍼런스 무료로 제공되는 요약 보고서를 통해 공유됩니다.

이 기사는 저자가 UVA Darden 경영대학원에서 분석학 신체 200주년 교수로 1년 동안 재직하면서 작성한 작업의 산물입니다. AI 플레이북: 머신러닝 배포의 희귀한 기술 익히기 (무료 오디오북 제공).

에릭 시겔, Ph.D.는 기계 학습을 이해하기 쉽고 매력적으로 만드는 선도적인 컨설턴트이자 전 컬럼비아 대학교 교수입니다. 그는 의 창립자입니다. 예측 분석 세계 그리고 딥 러닝 월드 17,000년부터 2009명 이상의 참석자를 모은 컨퍼런스 시리즈, 호평받는 과정의 강사 기계 학습 리더십 및 실습 – 종단 간 숙달의뢰받은 인기 연사 100개 이상의 기조연설, 편집장 기계 학습 시간. 그는 베스트셀러를 저술했습니다. 예측 분석 : 클릭, 구매, 거짓말 또는 사망을 예측할 수있는 힘, 그는 35 개 이상의 대학에서 강의에 사용되었으며 콜롬비아 대학에서 교수로 재직하면서 강의 상을 수상했습니다. 교육 노래 그의 학생들에게. Eric은 또한 분석 및 사회 정의에 대한 논평. 그를 따라 @predictanalytic.