이 게시물은 Merck의 데이터 엔지니어링 수석 전문가인 Jayadeep Pabbisetty와 Tiger Analytics의 수석 ML 엔지니어인 Prabakaran Mathaiyan과 공동으로 작성했습니다.
대규모 기계 학습(ML) 모델 개발 수명주기에는 소프트웨어 개발과 유사한 확장 가능한 모델 릴리스 프로세스가 필요합니다. 모델 개발자는 ML 모델 개발을 위해 함께 작업하는 경우가 많으며 작업하려면 강력한 MLOps 플랫폼이 필요합니다. 확장 가능한 MLOps 플랫폼에는 ML 모델 등록, 승인 및 다음 환경 수준(개발, 테스트)으로의 승격 워크플로를 처리하는 프로세스가 포함되어야 합니다. , UAT 또는 프로덕션).
모델 개발자는 일반적으로 내부의 개별 ML 개발 환경에서 작업을 시작합니다. 아마존 세이지 메이커. 모델이 훈련되어 사용될 준비가 되면, 등록 후 승인을 받아야 합니다. Amazon SageMaker 모델 레지스트리. 이 게시물에서는 AWS AI/ML 팀이 Merck Human Health IT MLOps 팀과 협력하여 인간 개입이 중간에 있는 ML 모델 승인 및 승격을 위한 자동화된 워크플로를 사용하는 솔루션을 구축한 방법에 대해 논의합니다.
솔루션 개요
이 게시물에서는 ML 모델 개발 수명 주기가 훈련 파이프라인과 추론 파이프라인 간에 사용할 수 있는 워크플로 솔루션에 중점을 둡니다. 이 솔루션은 사람의 개입을 통해 ML 모델 승인 및 승격 프로세스를 지원하는 MLOps용 확장 가능한 워크플로를 제공합니다. 데이터 과학자가 등록한 ML 모델은 추론 파이프라인 및 다음 환경 수준(테스트, UAT 또는 프로덕션)에 사용되기 전에 검토하고 승인할 승인자가 필요합니다. 솔루션은 다음을 사용합니다. AWS 람다, 아마존 API 게이트웨이, 아마존 이벤트 브리지, SageMaker는 중간에 인간 승인 개입을 통해 워크플로를 자동화합니다. 다음 아키텍처 다이어그램은 전체 시스템 설계, 사용된 AWS 서비스, 개발부터 생산까지 사람의 개입을 통해 ML 모델을 승인하고 승격하는 워크플로를 보여줍니다.
워크 플로우에는 다음 단계가 포함됩니다.
- 훈련 파이프라인은 SageMaker 모델 레지스트리에 모델을 개발하고 등록합니다. 이 시점에서 모델 상태는 다음과 같습니다.
PendingManualApproval
. - EventBridge는 상태 변경 이벤트를 모니터링하여 간단한 규칙에 따라 자동으로 조치를 취합니다.
- EventBridge 모델 등록 이벤트 규칙은 등록된 모델을 승인하거나 거부하기 위한 링크가 포함된 이메일을 생성하는 Lambda 함수를 호출합니다.
- 승인자는 모델을 검토하고 승인하거나 거부할 수 있는 링크가 포함된 이메일을 받습니다.
- 승인자는 이메일에 있는 API 게이트웨이 엔드포인트 링크를 따라 모델을 승인합니다.
- API 게이트웨이는 Lambda 함수를 호출하여 모델 업데이트를 시작합니다.
- 모델 레지스트리는 모델 상태(
Approved
개발 환경을 위한 것이지만PendingManualApproval
테스트, UAT 및 프로덕션용). - 모델 세부정보는 다음 위치에 저장됩니다. AWS 매개변수 저장소, 능력 AWS 시스템 관리자, 모델 버전, 승인된 대상 환경, 모델 패키지를 포함합니다.
- 추론 파이프라인은 Parameter Store에서 대상 환경에 대해 승인된 모델을 가져옵니다.
- 추론 후 알림 Lambda 기능은 배치 추론 지표를 수집하고 승인자에게 이메일을 보내 모델을 다음 환경으로 승격시킵니다.
사전 조건
이 게시물의 워크플로에서는 교육 파이프라인 환경이 다른 리소스와 함께 SageMaker에 설정되어 있다고 가정합니다. 학습 파이프라인에 대한 입력은 기능 데이터 세트입니다. 기능 생성 세부 사항은 이 게시물에 포함되어 있지 않지만 학습 후 ML 모델의 등록, 승인 및 홍보에 중점을 둡니다. 모델은 모델 레지스트리에 등록되며 모니터링 프레임워크에 의해 관리됩니다. Amazon SageMaker 모델 모니터 드리프트를 감지하고 모델 드리프트가 있는 경우 재학습을 진행합니다.
워크플로 세부정보
승인 워크플로는 학습 파이프라인에서 개발된 모델로 시작됩니다. 데이터 과학자가 모델을 개발할 때 모델 상태를 SageMaker 모델 레지스트리에 등록합니다. PendingManualApproval
. EventBridge는 모델 등록 이벤트에 대해 SageMaker를 모니터링하고 Lambda 함수를 호출하는 이벤트 규칙을 트리거합니다. Lambda 함수는 다른 Lambda 함수에 대한 API 게이트웨이 엔드포인트에 대한 링크를 사용하여 모델 승인을 위한 이메일을 동적으로 구성합니다. 승인자가 링크를 따라 모델을 승인하면 API Gateway는 SageMaker 모델 레지스트리와 Parameter Store의 모델 속성을 업데이트하는 Lambda 함수에 승인 작업을 전달합니다. 승인자는 인증되어야 하며 Active Directory에서 관리하는 승인자 그룹의 일부여야 합니다. 초기 승인은 모델을 다음과 같이 표시합니다. Approved
개발자를 위한 것이지만 PendingManualApproval
테스트, UAT, 프로덕션용입니다. Parameter Store에 저장되는 모델 속성에는 모델 버전, 모델 패키지, 승인된 대상 환경이 포함됩니다.
추론 파이프라인이 모델을 가져와야 하는 경우 Parameter Store에서 대상 환경에 승인된 최신 모델 버전을 확인하고 추론 세부 정보를 가져옵니다. 추론 파이프라인이 완료되면 모델을 다음 환경 수준으로 승격하기 위한 승인을 요청하는 추론 후 알림 이메일이 이해관계자에게 전송됩니다. 이메일에는 모델 및 지표에 대한 세부 정보뿐만 아니라 모델 속성을 업데이트하는 Lambda 함수에 대한 API 게이트웨이 엔드포인트에 대한 승인 링크도 포함되어 있습니다.
다음은 모델 생성부터 생산까지 ML 모델 승인/승격 워크플로에 대한 일련의 이벤트 및 구현 단계입니다. 모델은 각 단계에서 명시적인 사람의 승인을 받아 개발에서 테스트, UAT 및 프로덕션 환경으로 승격됩니다.
모델 개발 준비가 완료된 학습 파이프라인부터 시작합니다. 모델 버전은 SageMaker 모델 레지스트리에서 0으로 시작합니다.
- SageMaker 훈련 파이프라인은 SageMaker 모델 레지스트리에서 모델을 개발하고 등록합니다. 모델 버전 1이 등록되어 있으며 다음으로 시작합니다. 보류 중인 수동 승인 상태.모델 레지스트리 메타데이터에는 환경에 대한 4개의 사용자 정의 필드가 있습니다.
dev, test, uat
및prod
. - EventBridge는 SageMaker 모델 레지스트리에서 상태 변경을 모니터링하여 간단한 규칙에 따라 자동으로 조치를 취합니다.
- 모델 등록 이벤트 규칙은 등록된 모델을 승인하거나 거부하기 위한 링크가 포함된 이메일을 생성하는 Lambda 함수를 호출합니다.
- 승인자는 모델을 검토하고 승인(또는 거부)할 수 있는 링크가 포함된 이메일을 받습니다.
- 승인자는 이메일의 API 게이트웨이 엔드포인트 링크를 따라 모델을 승인합니다.
- API 게이트웨이는 Lambda 함수를 호출하여 모델 업데이트를 시작합니다.
- SageMaker 모델 레지스트리가 모델 상태로 업데이트됩니다.
- 모델 버전, 승인된 대상 환경, 모델 패키지 등 모델 세부 정보는 Parameter Store에 저장됩니다.
- 추론 파이프라인은 Parameter Store에서 대상 환경에 대해 승인된 모델을 가져옵니다.
- 추론 후 알림 Lambda 기능은 배치 추론 지표를 수집하고 승인자에게 이메일을 보내 모델을 다음 환경으로 승격시킵니다.
- 승인자는 SageMaker 모델 레지스트리 및 매개변수 저장소를 업데이트하는 Lambda 함수를 트리거하는 API 게이트웨이 엔드포인트에 대한 링크를 따라 모델 승격을 다음 수준으로 승인합니다.
모델 버전 관리 및 승인의 전체 기록은 검토를 위해 Parameter Store에 저장됩니다.
결론
대규모 ML 모델 개발 수명주기에는 확장 가능한 ML 모델 승인 프로세스가 필요합니다. 이 게시물에서는 SageMaker 모델 레지스트리, EventBridge, API 게이트웨이 및 Lambda를 사용하여 인간 개입을 통한 ML 모델 레지스트리, 승인 및 승격 워크플로 구현을 공유했습니다. MLOps 플랫폼을 위한 확장 가능한 ML 모델 개발 프로세스를 고려하고 있다면 이 게시물의 단계에 따라 유사한 워크플로를 구현할 수 있습니다.
저자 소개
톰 킴 그는 AWS의 수석 솔루션 아키텍트로서 고객이 AWS에서 솔루션을 개발하여 비즈니스 목표를 달성하도록 돕습니다. 그는 여러 산업, 특히 의료 및 생명 과학 분야의 엔터프라이즈 시스템 아키텍처 및 운영에 대한 광범위한 경험을 보유하고 있습니다. Tom은 고객이 원하는 비즈니스 결과를 얻을 수 있는 새로운 기술을 항상 배우고 있습니다. AI/ML, GenAI 및 데이터 분석. 그는 또한 시간이 날 때마다 새로운 곳으로 여행하고 새로운 골프장에서 플레이하는 것을 즐깁니다.
샤 미카 아리 야 완사는 Amazon Web Services(AWS)의 의료 및 생명 과학 부서에서 수석 AI/ML 솔루션 설계자로 근무하고 있으며 LLM(대형 언어 모델) 교육, 추론 최적화 및 MLOps(기계 학습)에 중점을 둔 생성 AI를 전문으로 합니다. 운영). 그는 효과적이고 확장 가능한 AI 솔루션을 위한 강력한 훈련 프로세스, 효율적인 추론 메커니즘, 간소화된 MLOps 관행을 보장하면서 고객이 고급 Generative AI를 프로젝트에 포함하도록 안내합니다. 전문적인 약속 외에도 Shamika는 스키와 오프로드 모험을 열정적으로 추구합니다.
자야딥 파비세티 그는 Merck의 수석 ML/데이터 엔지니어로서 비즈니스를 위한 데이터 과학 및 분석을 활용하는 ETL 및 MLOps 솔루션을 설계하고 개발합니다. 그는 항상 새로운 기술을 배우고, 새로운 길을 모색하며, 끊임없이 변화하는 IT 산업과 함께 발전하는 데 필요한 기술을 습득하는 데 열정적입니다. 여가 시간에는 스포츠에 대한 열정을 갖고 여행하고 새로운 장소를 탐험하는 것을 좋아합니다.
프라바카란 마타이얀 그는 Tiger Analytics LLC의 수석 기계 학습 엔지니어로서 AWS에서 모델 구축, 교육, 검증, 모니터링, CICD 및 기계 학습 솔루션 개선을 위한 솔루션을 제공하여 고객이 비즈니스 목표를 달성할 수 있도록 지원합니다. Prabakaran은 항상 고객이 원하는 비즈니스 결과를 얻을 수 있는 새로운 기술을 배우고 있습니다. AI/ML, GenAI, GPT 및 LLM. 그는 또한 시간이 날 때마다 크리켓 경기를 즐깁니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/build-an-amazon-sagemaker-model-registry-approval-and-promotion-workflow-with-human-intervention/
- :있다
- :이다
- :아니
- :어디
- $UP
- 1
- 100
- 110
- 116
- a
- 소개
- 달성
- 취득
- 가로질러
- 동작
- 행위
- 활동적인
- Active Directory의
- 많은
- 모험
- 후
- AI
- AI / ML
- 따라
- 또한
- 항상
- 아마존
- 아마존 세이지 메이커
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- 분석
- 및
- 다른
- 어떤
- API를
- 승인
- 승인
- 인가 된
- 아키텍처
- 있군요
- AS
- 가정하다
- At
- 속성
- 인증 된
- 자동화
- 자동화
- 자동적으로
- 애비뉴
- AWS
- BE
- 전에
- 존재
- 사이에
- 그 너머
- 바닥
- 빌드
- 건물
- 버스
- 사업
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- CAN
- 능력
- 한
- 케이스
- 이전 단계로 돌아가기
- 확인하는 것이 좋다.
- 암호
- 협력하다
- 수집하다
- 약속
- 완전한
- 치고는
- 코스
- 창조
- 크리켓
- 관습
- 고객
- 데이터
- 데이터 분석
- 데이터 과학
- 데이터 과학자
- 디자인
- 디자인
- 원하는
- 세부 묘사
- 세부설명
- 검색
- 데브
- 개발
- 개발
- 개발자
- 개발자
- 개발
- 개발
- 개발
- 토론
- 분할
- 역동적 인
- e
- 마다
- 유효한
- 효율적인
- 이메일
- 임베딩
- 종점
- 기사
- 엔지니어링
- 보장
- Enterprise
- 열광적 인
- 환경
- 환경
- 에테르 (ETH)
- 이벤트
- 이벤트
- 시시각각 변하는
- 진화시키다
- 경험
- 탐험
- 탐색
- 광대 한
- 광범위한 경험
- 특색
- 특징
- Fields
- Find
- 초점
- 집중
- 따라
- 수행원
- 다음
- 럭셔리
- 사
- 뼈대
- 에
- 기능
- 게이트웨이
- 세대
- 생성적인
- 제너레이티브 AI
- 골프
- 통치되는
- 그룹
- 안내서
- 처리
- he
- 건강
- 건강
- 건강 관리
- 도움이
- 그의
- history
- 방법
- HTML
- HTTPS
- 사람의
- if
- 구현
- 이행
- 개량
- in
- 포함
- 포함
- 포함
- 포함
- 개인
- 산업
- 산업
- 정보
- 처음에는
- 시작
- 입력
- 완성
- 개입
- 으로
- 호출
- IT
- IT 산업
- JPG
- 언어
- 넓은
- 최근
- 리드
- 배우기
- 레벨
- 생활
- 생명 과학
- 생명과학
- wifecycwe
- 좋아하는
- LINK
- LLC
- 기계
- 기계 학습
- 관리
- 조작
- 메커니즘
- 머크
- 메타 데이터
- 통계
- 중간
- ML
- MLOps
- 모델
- 모델
- 모니터링
- 모니터
- 절대로 필요한 것
- 필요한
- 요구
- 신제품
- 새로운 기술
- 다음 것
- 공고
- 목표
- of
- 자주
- on
- 행정부
- or
- 기타
- 결과
- 전체
- 꾸러미
- 매개 변수
- 부품
- 특별히
- 열정
- 무늬
- 관로
- 장소
- 플랫폼
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 연주
- 포인트 적립
- 초상화
- 게시하다
- 사례
- 진행
- 방법
- 프로세스
- 생산
- 링크를
- 프로젝트
- 홍보
- 프로모션
- 홍보
- 승진
- 제공
- 제공
- 추구
- 준비
- 회원가입
- 등록된
- 레지스터들
- 등록
- 레지스트리
- 공개
- 요청하는
- 필요
- 필요
- 제품 자료
- 재교육
- 리뷰
- 강력한
- 길
- 통치
- 규칙
- s
- 현자
- 저장
- 확장성
- 과학
- 과학
- 과학자
- 과학자
- 전송
- 연장자
- 전송
- 순서
- 서비스
- 피복재
- 세트
- 몇몇의
- 공유
- 쇼
- 비슷한
- 단순, 간단, 편리
- 기술
- 소프트웨어
- 소프트웨어 개발
- 해결책
- 솔루션
- 전문가
- 전문적으로
- 스포츠
- 이해 관계자
- 스타트
- 시작
- Status
- 단계
- 단계
- 저장
- 저장
- 간소화 된
- 지원
- 체계
- 시스템은
- 받아
- 목표
- 팀
- 기술
- test
- 그
- XNUMXD덴탈의
- 그들의
- 그들
- 이
- 호랑이
- 시간
- 에
- 함께
- 수컷의
- 훈련 된
- 트레이닝
- 여행
- 여행
- 일반적으로
- 잠금을 해제
- 업데이트
- 업데이트
- 업데이트
- 사용
- 익숙한
- 사용
- 사용
- 확인
- 버전
- we
- 웹
- 웹 서비스
- 잘
- 언제
- 때마다
- 어느
- 과
- 이내
- 작업
- 협력
- 워크플로우
- 당신
- 너의
- 제퍼 넷