엣지의 기본 모델 - IBM 블로그

기본 모델(FM) 새로운 시대의 시작을 알리고 있습니다 머신 러닝 (ML) 및 인공 지능 (AI)이는 광범위한 다운스트림 작업에 적용하고 다양한 애플리케이션에 맞게 미세 조정할 수 있는 AI의 더 빠른 개발로 이어지고 있습니다. 

작업이 수행되는 곳에서 데이터 처리의 중요성이 증가함에 따라 엔터프라이즈 에지에서 AI 모델을 제공하면 데이터 주권 및 개인 정보 보호 요구 사항을 준수하면서 거의 실시간 예측이 가능해집니다. 결합함으로써 IBM 왓슨스 엣지 컴퓨팅을 갖춘 FM용 데이터 및 AI 플랫폼 기능을 통해 기업은 운영 엣지에서 FM 미세 조정 및 추론을 위한 AI 워크로드를 실행할 수 있습니다. 이를 통해 기업은 엣지에서 AI 배포를 확장하여 더 빠른 응답 시간으로 배포 시간과 비용을 줄일 수 있습니다.

엣지 컴퓨팅에 관한 이 블로그 게시물 시리즈의 모든 기사를 확인하세요.

기본 모델이란 무엇입니까?

레이블이 지정되지 않은 광범위한 데이터를 대규모로 학습한 기본 모델(FM)은 최첨단 인공 지능(AI) 애플리케이션을 주도하고 있습니다. 광범위한 다운스트림 작업에 적용할 수 있으며 다양한 애플리케이션에 맞게 미세 조정할 수 있습니다. 단일 도메인에서 특정 작업을 실행하는 최신 AI 모델은 더 일반적으로 학습하고 도메인과 문제 전반에 걸쳐 작동하기 때문에 FM에 자리를 내주고 있습니다. 이름에서 알 수 있듯이 FM은 AI 모델의 다양한 응용 프로그램의 기반이 될 수 있습니다.

FM은 기업이 AI 채택을 확장하는 데 방해가 되는 두 가지 주요 과제를 해결합니다. 첫째, 기업은 레이블이 지정되지 않은 방대한 양의 데이터를 생성하며 그 중 일부만 AI 모델 교육용으로 레이블이 지정됩니다. 둘째, 이 라벨링 및 주석 작업은 극도로 인간 집약적이어서 주제 전문가(SME)의 시간이 수백 시간이 필요한 경우가 많습니다. 이로 인해 수많은 중소기업과 데이터 전문가가 필요하므로 사용 사례 전반에 걸쳐 확장하는 것은 비용이 많이 듭니다. FM은 레이블이 지정되지 않은 방대한 양의 데이터를 수집하고 모델 교육을 위한 자체 감독 기술을 사용함으로써 이러한 병목 현상을 제거하고 기업 전체에 AI를 광범위하게 채택할 수 있는 길을 열었습니다. 모든 비즈니스에 존재하는 이러한 엄청난 양의 데이터는 통찰력을 얻기 위해 활용되기를 기다리고 있습니다.

대규모 언어 모델이란 무엇입니까?

LLM(대형 언어 모델)은 여러 계층으로 구성된 기본 모델(FM) 클래스입니다. 신경망 라벨이 지정되지 않은 엄청난 양의 데이터에 대해 교육을 받은 것입니다. 그들은 자기 지도 학습 알고리즘을 사용하여 다양한 작업을 수행합니다. 자연어 처리 (NLP) 인간이 언어를 사용하는 방식과 유사한 방식으로 작업합니다(그림 1 참조).

AI의 영향을 확장하고 가속화하세요.

FM(기본 모델)을 구축하고 배포하는 데는 여러 단계가 있습니다. 여기에는 데이터 수집, 데이터 선택, 데이터 사전 처리, FM 사전 훈련, 하나 이상의 다운스트림 작업에 대한 모델 조정, 추론 제공, 데이터 및 AI 모델 거버넌스 및 수명 주기 관리가 포함되며, 모두 다음과 같이 설명할 수 있습니다. FMOps.

이 모든 것을 지원하기 위해 IBM은 다음을 통해 기업에 이러한 FM의 기능을 활용하는 데 필요한 도구와 기능을 제공하고 있습니다. IBM 왓슨스는 기업 전반에 걸쳐 AI의 영향력을 배가하도록 설계된 엔터프라이즈급 AI 및 데이터 플랫폼입니다. IBM watsonx는 다음으로 구성됩니다.

1. IBM watsonx.ai 새로운 것을 가져온다 생성 적 AI FM 및 기존 기계 학습(ML)을 기반으로 하는 기능을 AI 라이프사이클에 걸쳐 강력한 스튜디오로 구현합니다.
2. IBM watsonx.data 어디서나 모든 데이터에 대한 AI 워크로드를 확장하기 위해 개방형 레이크하우스 아키텍처를 기반으로 구축된 목적에 적합한 데이터 저장소입니다.
3. IBM watsonx.governance 책임감 있고 투명하며 설명 가능한 AI 워크플로우를 지원하도록 구축된 엔드투엔드 자동화 AI 수명주기 거버넌스 툴킷입니다.

또 다른 주요 벡터는 산업 현장, 제조 현장, 소매점, 통신사 엣지 사이트 등과 같은 엔터프라이즈 엣지에서 컴퓨팅의 중요성이 커지고 있다는 것입니다. 보다 구체적으로, 엔터프라이즈 엣지의 AI는 작업이 수행되는 곳에서 데이터 처리를 가능하게 합니다. 거의 실시간 분석. 엔터프라이즈 엣지는 방대한 양의 엔터프라이즈 데이터가 생성되고 AI가 가치 있고 시의적절하며 실행 가능한 비즈니스 통찰력을 제공할 수 있는 곳입니다.

엣지에서 AI 모델을 제공하면 데이터 주권 및 개인 정보 보호 요구 사항을 준수하면서 거의 실시간 예측이 가능합니다. 이는 검사 데이터의 획득, 전송, 변환 및 처리와 관련된 대기 시간을 크게 줄여줍니다. 엣지에서 작업하면 민감한 기업 데이터를 보호하고 더 빠른 응답 시간으로 데이터 전송 비용을 줄일 수 있습니다.

그러나 엣지에서 AI 배포를 확장하는 것은 데이터(이질성, 볼륨 및 규제)와 제한된 리소스(컴퓨팅, 네트워크 연결, 스토리지, IT 기술까지) 관련 문제로 인해 쉬운 작업이 아닙니다. 이는 크게 두 가지 범주로 설명될 수 있습니다.

• 배포 시간/비용: 각 배포는 배포 전에 설치, 구성 및 테스트해야 하는 여러 계층의 하드웨어 및 소프트웨어로 구성됩니다. 현재는 서비스 전문가가 설치하는 데 최대 XNUMX~XNUMX주가 걸릴 수 있습니다. 각 위치에서, 기업이 조직 전반에 걸쳐 배포를 얼마나 빠르고 비용 효율적으로 확장할 수 있는지 심각하게 제한하고 있습니다.                                  
• 2일차 관리: 배포된 엣지의 수가 많고 각 배포의 지리적 위치로 인해 이러한 배포를 모니터링, 유지 관리 및 업데이트하기 위해 각 위치에 로컬 IT 지원을 제공하는 데 엄청난 비용이 드는 경우가 많습니다.

엣지 AI 배포

IBM은 통합 하드웨어/소프트웨어(HW/SW) 어플라이언스 모델을 엣지 AI 배포에 도입하여 이러한 과제를 해결하는 엣지 아키텍처를 개발했습니다. 이는 AI 배포의 확장성을 지원하는 몇 가지 주요 패러다임으로 구성됩니다.

• 전체 소프트웨어 스택의 정책 기반 제로터치 프로비저닝.
• 엣지 시스템 상태에 대한 지속적인 모니터링
• 2일차 관리를 위해 중앙 클라우드 기반 위치에서 소프트웨어/보안/구성 업데이트를 관리하고 수많은 엣지 위치에 푸시하는 기능을 제공합니다.

분산형 허브 앤 스포크 아키텍처를 활용하여 엣지에서 엔터프라이즈 AI 배포를 확장할 수 있습니다. 여기서 중앙 클라우드 또는 엔터프라이즈 데이터 센터는 허브 역할을 하고 엣지-인-어-박스 어플라이언스는 엣지 위치에서 스포크 역할을 합니다.. 하이브리드 클라우드와 엣지 환경 전반에 걸쳐 확장되는 이 허브 앤 스포크 모델은 FM 운영에 필요한 리소스를 최적으로 활용하는 데 필요한 균형을 가장 잘 보여줍니다(그림 2 참조).

레이블이 지정되지 않은 방대한 데이터 세트에 대해 자체 감독 기술을 사용하여 이러한 기본 LLM(대형 언어 모델) 및 기타 유형의 기초 모델을 사전 훈련하려면 상당한 컴퓨팅(GPU) 리소스가 필요한 경우가 많으며 허브에서 가장 잘 수행됩니다. 사실상 무제한의 컴퓨팅 리소스와 클라우드에 저장되는 대규모 데이터 더미를 통해 대규모 매개변수 모델을 사전 훈련하고 이러한 기본 기반 모델의 정확성을 지속적으로 개선할 수 있습니다.

반면, 수십 또는 수백 개의 레이블이 지정된 데이터 샘플과 추론 제공만 필요한 다운스트림 작업을 위해 이러한 기본 FM을 조정하는 것은 엔터프라이즈 에지에서 몇 개의 GPU만으로 수행할 수 있습니다. 이를 통해 민감한 레이블이 지정된 데이터(또는 기업의 핵심 데이터)를 기업 운영 환경 내에 안전하게 유지하는 동시에 데이터 전송 비용을 줄일 수 있습니다.

데이터 과학자는 애플리케이션을 엣지에 배포하기 위한 풀 스택 접근 방식을 사용하여 모델의 미세 조정, 테스트 및 배포를 수행할 수 있습니다. 이는 최종 사용자에게 새로운 AI 모델을 제공하기 위한 개발 수명 주기를 단축하면서 단일 환경에서 달성할 수 있습니다. RHODS(Red Hat OpenShift Data Science) 및 최근 발표된 Red Hat OpenShift AI와 같은 플랫폼은 프로덕션 지원 AI 모델을 빠르게 개발하고 배포할 수 있는 도구를 제공합니다. 분산 클라우드 그리고 엣지 환경.

마지막으로, 엔터프라이즈 에지에서 미세 조정된 AI 모델을 제공하면 데이터 획득, 전송, 변환 및 처리와 관련된 대기 시간이 크게 줄어듭니다. 클라우드의 사전 훈련을 에지에서의 미세 조정 및 추론과 분리하면 모든 추론 작업과 관련된 데이터 이동 비용과 필요한 시간이 줄어들어 전체 운영 비용이 절감됩니다(그림 3 참조).

이 가치 제안을 엔드 투 엔드로 입증하기 위해 토목 인프라를 위한 예시적인 비전 변환기 기반 기반 모델(공공 및 맞춤형 산업별 데이터 세트를 사용하여 사전 훈련됨)을 미세 조정하고 XNUMX노드 에지에서 추론을 위해 배포했습니다. (스포크) 클러스터. 소프트웨어 스택에는 Red Hat OpenShift Container Platform과 Red Hat OpenShift Data Science가 포함되어 있습니다. 이 엣지 클러스터는 클라우드에서 실행되는 RHACM(Red Hat Advanced Cluster Management for Kubernetes) 허브 인스턴스에도 연결되었습니다.

제로터치 프로비저닝

정책 기반의 제로 터치 프로비저닝은 RHACM(Red Hat Advanced Cluster Management for Kubernetes)을 통해 정책 및 배치 태그를 통해 수행되었으며, 이는 특정 엣지 클러스터를 일련의 소프트웨어 구성 요소 및 구성에 바인딩합니다. 전체 스택에 걸쳐 확장되고 컴퓨팅, 스토리지, 네트워크 및 AI 워크로드를 포괄하는 이러한 소프트웨어 구성 요소는 다양한 OpenShift 운영자, 필수 애플리케이션 서비스 프로비저닝 및 S3 버킷(스토리지)을 사용하여 설치되었습니다.

토목 인프라에 대해 사전 훈련된 기본 모델(FM)은 레이블이 지정된 데이터를 사용하여 Red Hat OpenShift Data Science(RHODS) 내의 Jupyter Notebook을 통해 미세 조정되어 콘크리트 교량에서 발견된 XNUMX가지 유형의 결함을 분류했습니다. 이 미세 조정된 FM의 추론 제공도 Triton 서버를 사용하여 시연되었습니다. 또한 Prometheus를 통해 하드웨어 및 소프트웨어 구성 요소의 관측 가능성 지표를 클라우드의 중앙 RHACM 대시보드에 집계함으로써 이 엣지 시스템의 상태를 모니터링할 수 있었습니다. 토목 인프라 기업은 이러한 FM을 엣지 위치에 배포하고 드론 이미지를 사용하여 거의 실시간으로 결함을 감지할 수 있습니다. 이를 통해 통찰력 확보 시간을 단축하고 대용량 고화질 데이터를 클라우드로 이동하는 비용을 절감할 수 있습니다.

요약

결합 IBM 왓슨스 엣지-인-어-박스(edge-in-a-box) 어플라이언스를 갖춘 기초 모델(FM)을 위한 데이터 및 AI 플랫폼 기능을 통해 기업은 운영 엣지에서 FM 미세 조정 및 추론을 위한 AI 워크로드를 실행할 수 있습니다. 이 어플라이언스는 복잡한 사용 사례를 즉시 처리할 수 있으며 중앙 집중식 관리, 자동화 및 셀프 서비스를 위한 허브 앤 스포크 프레임워크를 구축합니다. 반복 가능한 성공, 더 높은 복원력 및 보안을 통해 Edge FM 배포를 몇 주에서 몇 시간으로 단축할 수 있습니다.

기본 모델에 대해 자세히 알아보기

엣지 컴퓨팅에 관한 이 블로그 게시물 시리즈의 모든 기사를 확인하세요.