Grundlegende Modelle am Rande – IBM Blog

Grundlegende Modelle (FMs) markieren den Beginn einer neuen Ära in maschinelles Lernen (ML) und Künstliche Intelligenz (KI)Dies führt zu einer schnelleren Entwicklung von KI, die an eine Vielzahl nachgelagerter Aufgaben angepasst und für eine Reihe von Anwendungen feinabgestimmt werden kann. 

Angesichts der zunehmenden Bedeutung der Datenverarbeitung dort, wo Arbeit ausgeführt wird, ermöglicht die Bereitstellung von KI-Modellen am Unternehmensrand nahezu Echtzeitvorhersagen unter Einhaltung der Anforderungen an Datensouveränität und Datenschutz. Durch die Kombination der IBM Watsonx Daten- und KI-Plattformfunktionen für FMs mit Edge-Computing können Unternehmen KI-Workloads für die FM-Feinabstimmung und Inferenzierung am operativen Rand ausführen. Dies ermöglicht es Unternehmen, KI-Bereitstellungen an der Edge zu skalieren und so den Zeit- und Kostenaufwand für die Bereitstellung durch schnellere Reaktionszeiten zu reduzieren.

Bitte schauen Sie sich unbedingt alle Teile dieser Reihe von Blogbeiträgen zum Thema Edge Computing an:

Was sind grundlegende Modelle?

Grundlagenmodelle (FMs), die auf einer breiten Menge unbeschrifteter Daten in großem Maßstab trainiert werden, treiben hochmoderne Anwendungen der künstlichen Intelligenz (KI) voran. Sie können an eine Vielzahl nachgelagerter Aufgaben angepasst und für eine Reihe von Anwendungen fein abgestimmt werden. Moderne KI-Modelle, die bestimmte Aufgaben in einer einzelnen Domäne ausführen, weichen FMs, weil sie allgemeiner lernen und domänen- und problemübergreifend arbeiten. Wie der Name schon sagt, kann ein FM die Grundlage für viele Anwendungen des KI-Modells sein.

FMs bewältigen zwei zentrale Herausforderungen, die Unternehmen davon abgehalten haben, die Einführung von KI voranzutreiben. Erstens produzieren Unternehmen eine große Menge unbeschrifteter Daten, von denen nur ein Bruchteil für das Training von KI-Modellen gekennzeichnet ist. Zweitens ist diese Beschriftungs- und Anmerkungsaufgabe äußerst arbeitsintensiv und erfordert oft mehrere hundert Stunden Zeit eines Fachexperten (KMU). Dies macht eine Skalierung über mehrere Anwendungsfälle hinweg zu kostenintensiv, da dafür Heerscharen von KMU und Datenexperten erforderlich wären. Durch die Aufnahme riesiger Mengen unbeschrifteter Daten und den Einsatz selbstüberwachter Techniken für das Modelltraining haben FMs diese Engpässe beseitigt und den Weg für eine breite Einführung von KI im gesamten Unternehmen geebnet. Diese riesigen Datenmengen, die in jedem Unternehmen vorhanden sind, warten darauf, freigesetzt zu werden, um Erkenntnisse zu gewinnen.

Was sind große Sprachmodelle?

Große Sprachmodelle (LLMs) sind eine Klasse grundlegender Modelle (FM), die aus Schichten von bestehen Neuronale Netze die mit diesen riesigen Mengen unbeschrifteter Daten trainiert wurden. Sie verwenden selbstüberwachte Lernalgorithmen, um eine Vielzahl von Aufgaben auszuführen Verarbeitung natürlicher Sprache (NLP) Aufgaben auf eine Art und Weise zu erledigen, die der Art und Weise ähnelt, wie Menschen Sprache verwenden (siehe Abbildung 1).

Skalieren und beschleunigen Sie die Wirkung von KI

Die Erstellung und Bereitstellung eines Basismodells (FM) umfasst mehrere Schritte. Dazu gehören Datenaufnahme, Datenauswahl, Datenvorverarbeitung, FM-Vorschulung, Modellabstimmung für eine oder mehrere nachgelagerte Aufgaben, Inferenzbereitstellung sowie Daten- und KI-Modell-Governance und Lebenszyklusmanagement – ​​all dies kann als beschrieben werden FMOps.

Um all dies zu unterstützen, bietet IBM Unternehmen die notwendigen Tools und Funktionen an, um die Leistungsfähigkeit dieser FMs zu nutzen IBM Watsonx, eine unternehmenstaugliche KI- und Datenplattform, die darauf ausgelegt ist, die Wirkung von KI im gesamten Unternehmen zu vervielfachen. IBM watsonx besteht aus Folgendem:

1. IBM watsonx.ai bringt Neues generative KI Funktionen – unterstützt durch FMs und traditionelles maschinelles Lernen (ML) – in ein leistungsstarkes Studio, das den gesamten KI-Lebenszyklus abdeckt.
2. IBM watsonx.data ist ein zweckmäßiger Datenspeicher, der auf einer offenen Lakehouse-Architektur basiert, um KI-Workloads für alle Ihre Daten überall zu skalieren.
3. IBM watsonx.governance ist ein durchgängig automatisiertes AI-Lifecycle-Governance-Toolkit, das darauf ausgelegt ist, verantwortungsvolle, transparente und erklärbare KI-Workflows zu ermöglichen.

Ein weiterer wichtiger Faktor ist die zunehmende Bedeutung der Datenverarbeitung am Unternehmensrand, beispielsweise an Industriestandorten, Fertigungshallen, Einzelhandelsgeschäften, Telekommunikationsrandstandorten usw. Genauer gesagt ermöglicht KI am Unternehmensrand die Verarbeitung von Daten dort, wo Arbeit ausgeführt wird Analyse nahezu in Echtzeit. Am Unternehmensrand werden riesige Mengen an Unternehmensdaten generiert und KI kann wertvolle, zeitnahe und umsetzbare Geschäftserkenntnisse liefern.

Die Bereitstellung von KI-Modellen an der Edge ermöglicht Vorhersagen nahezu in Echtzeit unter Einhaltung der Datensouveränitäts- und Datenschutzanforderungen. Dadurch wird die Latenzzeit, die häufig mit der Erfassung, Übertragung, Transformation und Verarbeitung von Inspektionsdaten verbunden ist, erheblich reduziert. Durch die Arbeit am Edge können wir sensible Unternehmensdaten schützen und die Datenübertragungskosten durch schnellere Reaktionszeiten senken.

Angesichts der Herausforderungen im Zusammenhang mit Daten (Heterogenität, Menge und Vorschriften) und begrenzten Ressourcen (Rechenleistung, Netzwerkkonnektivität, Speicher und sogar IT-Kenntnisse) ist die Skalierung von KI-Bereitstellungen am Rande jedoch keine leichte Aufgabe. Diese lassen sich grob in zwei Kategorien einteilen:

• Zeit/Kosten für die Bereitstellung: Jede Bereitstellung besteht aus mehreren Hardware- und Softwareebenen, die vor der Bereitstellung installiert, konfiguriert und getestet werden müssen. Heutzutage kann die Installation durch einen Servicetechniker bis zu ein oder zwei Wochen dauern an jedem Ort, Dies schränkt die schnelle und kosteneffektive Skalierung von Bereitstellungen im gesamten Unternehmen erheblich ein.                                  
• Tag-2-Management: Aufgrund der großen Anzahl bereitgestellter Edges und der geografischen Lage jeder Bereitstellung kann es häufig unerschwinglich teuer werden, an jedem Standort lokalen IT-Support für die Überwachung, Wartung und Aktualisierung dieser Bereitstellungen bereitzustellen.

Edge-KI-Bereitstellungen

IBM hat eine Edge-Architektur entwickelt, die diese Herausforderungen angeht, indem sie ein integriertes Hardware-/Software-Appliance-Modell (HW/SW) in Edge-KI-Bereitstellungen einbringt. Es besteht aus mehreren Schlüsselparadigmen, die die Skalierbarkeit von KI-Bereitstellungen unterstützen:

• Richtlinienbasierte Zero-Touch-Bereitstellung des gesamten Software-Stacks.
• Kontinuierliche Überwachung des Zustands des Edge-Systems
• Funktionen zur Verwaltung und Übertragung von Software-/Sicherheits-/Konfigurationsaktualisierungen an zahlreiche Edge-Standorte – alles von einem zentralen cloudbasierten Standort aus für die Verwaltung am zweiten Tag.

Eine verteilte Hub-and-Spoke-Architektur kann zur Skalierung von KI-Bereitstellungen in Unternehmen am Edge genutzt werden, wobei eine zentrale Cloud oder ein Unternehmensrechenzentrum als Hub fungiert und die Edge-in-a-Box-Appliance als Spoke an einem Edge-Standort fungiert. Dieses Hub-and-Spoke-Modell, das sich über hybride Cloud- und Edge-Umgebungen erstreckt, veranschaulicht am besten die erforderliche Ausgewogenheit, um die für den FM-Betrieb erforderlichen Ressourcen optimal zu nutzen (siehe Abbildung 2).

Das Vortraining dieser Basis-LLMs (Large Language Models) und anderer Arten von Basismodellen mithilfe selbstüberwachter Techniken an riesigen, unbeschrifteten Datensätzen erfordert häufig erhebliche Rechenressourcen (GPU) und wird am besten an einem Hub durchgeführt. Die praktisch unbegrenzten Rechenressourcen und großen Datenmengen, die häufig in der Cloud gespeichert werden, ermöglichen das Vortraining großer Parametermodelle und die kontinuierliche Verbesserung der Genauigkeit dieser Basismodelle.

Andererseits kann die Abstimmung dieser Basis-FMs für nachgelagerte Aufgaben – die nur einige Dutzend oder Hunderte gekennzeichneter Datenproben und Inferenzbereitstellung erfordern – mit nur wenigen GPUs am Unternehmensrand durchgeführt werden. Dies ermöglicht, dass vertrauliche gekennzeichnete Daten (oder Kronjuwelendaten des Unternehmens) sicher in der Betriebsumgebung des Unternehmens verbleiben und gleichzeitig die Kosten für die Datenübertragung gesenkt werden.

Mithilfe eines Full-Stack-Ansatzes für die Bereitstellung von Anwendungen am Rande kann ein Datenwissenschaftler die Feinabstimmung, das Testen und die Bereitstellung der Modelle durchführen. Dies kann in einer einzigen Umgebung erreicht werden und gleichzeitig den Entwicklungslebenszyklus für die Bereitstellung neuer KI-Modelle für die Endbenutzer verkürzen. Plattformen wie Red Hat OpenShift Data Science (RHODS) und das kürzlich angekündigte Red Hat OpenShift AI bieten Tools für die schnelle Entwicklung und Bereitstellung produktionsbereiter KI-Modelle verteilte Cloud und Edge-Umgebungen.

Schließlich reduziert die Bereitstellung des fein abgestimmten KI-Modells am Unternehmensrand die Latenz, die häufig mit der Erfassung, Übertragung, Transformation und Verarbeitung von Daten verbunden ist, erheblich. Durch die Entkopplung des Vortrainings in der Cloud von der Feinabstimmung und Inferenzierung am Rand werden die Gesamtbetriebskosten gesenkt, indem der Zeitaufwand und die Kosten für die Datenverschiebung im Zusammenhang mit Inferenzaufgaben reduziert werden (siehe Abbildung 3).

Um dieses Wertversprechen durchgängig zu demonstrieren, wurde ein beispielhaftes Vision-Transformer-basiertes Basismodell für die zivile Infrastruktur (vorab trainiert unter Verwendung öffentlicher und benutzerdefinierter branchenspezifischer Datensätze) verfeinert und zur Inferenz auf einem Drei-Knoten-Rand bereitgestellt (Speichen-)Cluster. Der Software-Stack umfasste die Red Hat OpenShift Container Platform und Red Hat OpenShift Data Science. Dieser Edge-Cluster war auch mit einer Instanz des Red Hat Advanced Cluster Management for Kubernetes (RHACM)-Hubs verbunden, der in der Cloud läuft.

Zero-Touch-Bereitstellung

Die richtlinienbasierte Zero-Touch-Bereitstellung erfolgte mit Red Hat Advanced Cluster Management for Kubernetes (RHACM) über Richtlinien und Platzierungs-Tags, die bestimmte Edge-Cluster an eine Reihe von Softwarekomponenten und -konfigurationen binden. Diese Softwarekomponenten – die sich über den gesamten Stack erstrecken und Rechenleistung, Speicher, Netzwerk und die KI-Arbeitslast abdecken – wurden mithilfe verschiedener OpenShift-Operatoren, Bereitstellung der erforderlichen Anwendungsdienste und S3-Bucket (Speicher) installiert.

Das vorab trainierte Basismodell (FM) für die zivile Infrastruktur wurde mithilfe eines Jupyter-Notebooks innerhalb von Red Hat OpenShift Data Science (RHODS) verfeinert. Dabei wurden gekennzeichnete Daten verwendet, um sechs Arten von Mängeln zu klassifizieren, die auf Betonbrücken gefunden wurden. Die Inferenzbereitstellung dieses fein abgestimmten FM wurde auch mithilfe eines Triton-Servers demonstriert. Darüber hinaus wurde die Überwachung des Zustands dieses Edge-Systems durch die Aggregation von Beobachtbarkeitsmetriken von den Hardware- und Softwarekomponenten über Prometheus zum zentralen RHACM-Dashboard in der Cloud ermöglicht. Unternehmen der zivilen Infrastruktur können diese FMs an ihren Edge-Standorten einsetzen und Drohnenbilder verwenden, um Fehler nahezu in Echtzeit zu erkennen – was die Zeit bis zur Einsicht verkürzt und die Kosten für die Übertragung großer Mengen hochauflösender Daten in und aus der Cloud senkt.

Zusammenfassung

Kombination IBM Watsonx Daten- und KI-Plattformfunktionen für Foundation Models (FMs) mit einer Edge-in-a-Box-Appliance ermöglichen es Unternehmen, KI-Workloads für die FM-Feinabstimmung und Inferenzierung am operativen Edge auszuführen. Diese Appliance kann komplexe Anwendungsfälle sofort verarbeiten und bildet das Hub-and-Spoke-Framework für zentralisierte Verwaltung, Automatisierung und Self-Service. Edge-FM-Bereitstellungen können von Wochen auf Stunden verkürzt werden, mit wiederholbarem Erfolg, höherer Ausfallsicherheit und Sicherheit.

Erfahren Sie mehr über grundlegende Modelle

Bitte schauen Sie sich unbedingt alle Teile dieser Reihe von Blogbeiträgen zum Thema Edge Computing an: