Modelos fundamentais na borda – IBM Blog

Modelos fundamentais (FMs) estão marcando o início de uma nova era na aprendizado de máquina (ML) e inteligência artificial (AI), o que está a conduzir a um desenvolvimento mais rápido de IA que pode ser adaptada a uma vasta gama de tarefas a jusante e afinada para uma série de aplicações. 

Com a crescente importância do processamento de dados onde o trabalho está sendo executado, servir modelos de IA na borda da empresa permite previsões quase em tempo real, ao mesmo tempo em que atende aos requisitos de soberania e privacidade dos dados. Ao combinar o IBM Watson dados e recursos de plataforma de IA para FMs com computação de ponta, as empresas podem executar cargas de trabalho de IA para ajuste fino e inferência de FM na borda operacional. Isso permite que as empresas dimensionem implantações de IA na borda, reduzindo o tempo e o custo de implantação com tempos de resposta mais rápidos.

Certifique-se de verificar todas as parcelas desta série de postagens de blog sobre computação de ponta:

O que são modelos fundamentais?

Os modelos fundamentais (FMs), que são treinados em um amplo conjunto de dados não rotulados em escala, estão impulsionando aplicações de inteligência artificial (IA) de última geração. Eles podem ser adaptados a uma ampla gama de tarefas posteriores e ajustados para uma variedade de aplicações. Os modelos modernos de IA, que executam tarefas específicas num único domínio, estão a dar lugar aos FMs porque aprendem de forma mais geral e trabalham em domínios e problemas. Como o nome sugere, um FM pode ser a base para muitas aplicações do modelo de IA.

Os FMs abordam dois desafios principais que têm impedido as empresas de ampliar a adoção da IA. Primeiro, as empresas produzem uma grande quantidade de dados não rotulados, dos quais apenas uma fração é rotulada para formação de modelos de IA. Em segundo lugar, esta tarefa de rotulagem e anotação é extremamente intensiva em termos humanos, muitas vezes exigindo várias centenas de horas do tempo de um especialista no assunto (SME). Isto torna proibitivo em termos de custos a escalabilidade entre casos de utilização, uma vez que exigiria exércitos de PME e especialistas em dados. Ao ingerir grandes quantidades de dados não rotulados e ao usar técnicas auto-supervisionadas para treinamento de modelos, os FMs removeram esses gargalos e abriram o caminho para a adoção em larga escala da IA ​​em toda a empresa. Essas enormes quantidades de dados que existem em todas as empresas estão esperando para serem liberadas para gerar insights.

O que são grandes modelos de linguagem?

Grandes modelos de linguagem (LLMs) são uma classe de modelos fundamentais (FM) que consistem em camadas de redes neurais que foram treinados nessas enormes quantidades de dados não rotulados. Eles usam algoritmos de aprendizagem auto-supervisionados para realizar uma variedade de processamento de linguagem natural (PNL) tarefas de maneira semelhante à forma como os humanos usam a linguagem (ver Figura 1).

Dimensione e acelere o impacto da IA

Existem várias etapas para construir e implantar um modelo fundamental (FM). Isso inclui ingestão de dados, seleção de dados, pré-processamento de dados, pré-treinamento de FM, ajuste de modelo para uma ou mais tarefas downstream, serviço de inferência e governança de modelo de dados e IA e gerenciamento de ciclo de vida - todos os quais podem ser descritos como FMOps.

Para ajudar com tudo isso, a IBM está oferecendo às empresas as ferramentas e capacidades necessárias para aproveitar o poder desses FMs por meio de IBM Watson, uma plataforma de dados e IA pronta para empresas, projetada para multiplicar o impacto da IA ​​em uma empresa. IBM watsonx consiste no seguinte:

1. IBM watsonx.ai traz novidades IA generativa recursos – alimentados por FMs e aprendizado de máquina tradicional (ML) – em um estúdio poderoso que abrange o ciclo de vida da IA.
2. IBM watsonx.data é um armazenamento de dados adequado à finalidade, construído em uma arquitetura aberta de lago para dimensionar cargas de trabalho de IA para todos os seus dados, em qualquer lugar.
3. IBM watsonx.governança é um kit de ferramentas automatizado de governança do ciclo de vida de IA de ponta a ponta, desenvolvido para permitir fluxos de trabalho de IA responsáveis, transparentes e explicáveis.

Outro vetor importante é a crescente importância da computação na borda da empresa, como locais industriais, fábricas, lojas de varejo, locais de telecomunicações na borda, etc. Mais especificamente, a IA na borda da empresa permite o processamento de dados onde o trabalho está sendo executado para análise quase em tempo real. A borda empresarial é onde grandes quantidades de dados empresariais são geradas e onde a IA pode fornecer insights de negócios valiosos, oportunos e acionáveis.

Servir modelos de IA na borda permite previsões quase em tempo real, ao mesmo tempo em que atende aos requisitos de soberania e privacidade dos dados. Isto reduz significativamente a latência frequentemente associada à aquisição, transmissão, transformação e processamento de dados de inspeção. Trabalhar na borda nos permite proteger dados corporativos confidenciais e reduzir custos de transferência de dados com tempos de resposta mais rápidos.

Dimensionar implantações de IA na borda, no entanto, não é uma tarefa fácil em meio a desafios relacionados a dados (heterogeneidade, volume e regulamentação) e recursos limitados (computação, conectividade de rede, armazenamento e até mesmo habilidades de TI). Eles podem ser amplamente descritos em duas categorias:

• Tempo/custo para implantar: Cada implantação consiste em diversas camadas de hardware e software que precisam ser instaladas, configuradas e testadas antes da implantação. Hoje, um profissional de serviço pode levar até uma ou duas semanas para instalar em cada local, limitando severamente a rapidez e a economia com que as empresas podem ampliar as implantações em toda a organização.                                  
• Gerenciamento do dia 2: O grande número de bordas implantadas e a localização geográfica de cada implantação podem muitas vezes tornar proibitivamente caro fornecer suporte de TI local em cada local para monitorar, manter e atualizar essas implantações.

Implantações de IA de borda

A IBM desenvolveu uma arquitetura de ponta que aborda esses desafios, trazendo um modelo de dispositivo integrado de hardware/software (HW/SW) para implantações de IA de ponta. Consiste em vários paradigmas principais que auxiliam na escalabilidade das implantações de IA:

• Provisionamento sem intervenção humana baseado em políticas de toda a pilha de software.
• Monitoramento contínuo da integridade do sistema de borda
• Capacidades para gerenciar e enviar atualizações de software/segurança/configuração para vários pontos de presença, tudo a partir de um local central baseado em nuvem para gerenciamento no segundo dia.

Uma arquitetura distribuída hub-and-spoke pode ser utilizada para dimensionar implantações empresariais de IA na borda, onde uma nuvem central ou um data center corporativo atua como um hub e o dispositivo edge-in-a-box atua como um spoke em um local de borda. Esse modelo hub and spoke, que se estende por ambientes de nuvem híbrida e de borda, ilustra melhor o equilíbrio necessário para utilizar de forma otimizada os recursos necessários para operações de FM (veja a Figura 2).

O pré-treinamento desses grandes modelos de linguagem (LLMs) básicos e outros tipos de modelos básicos que usam técnicas autossupervisionadas em vastos conjuntos de dados não rotulados geralmente precisam de recursos de computação (GPU) significativos e são melhor executados em um hub. Os recursos computacionais praticamente ilimitados e as grandes pilhas de dados frequentemente armazenados na nuvem permitem o pré-treinamento de modelos de parâmetros grandes e a melhoria contínua na precisão desses modelos básicos.

Por outro lado, o ajuste desses FMs básicos para tarefas posteriores — que requerem apenas algumas dezenas ou centenas de amostras de dados rotulados e serviços de inferência — pode ser realizado com apenas algumas GPUs na borda da empresa. Isso permite que dados rotulados confidenciais (ou dados corporativos) permaneçam com segurança no ambiente operacional da empresa, ao mesmo tempo que reduz os custos de transferência de dados.

Usando uma abordagem full-stack para implantar aplicativos na borda, um cientista de dados pode realizar ajustes finos, testes e implantação dos modelos. Isso pode ser realizado em um único ambiente, ao mesmo tempo que reduz o ciclo de vida de desenvolvimento para servir novos modelos de IA aos usuários finais. Plataformas como o Red Hat OpenShift Data Science (RHODS) e o recentemente anunciado Red Hat OpenShift AI fornecem ferramentas para desenvolver e implantar rapidamente modelos de IA prontos para produção em nuvem distribuída e ambientes de borda.

Por fim, servir o modelo de IA ajustado na borda da empresa reduz significativamente a latência frequentemente associada à aquisição, transmissão, transformação e processamento de dados. Dissociar o pré-treinamento na nuvem do ajuste fino e da inferência na borda reduz o custo operacional geral, reduzindo o tempo necessário e os custos de movimentação de dados associados a qualquer tarefa de inferência (veja a Figura 3).

Para demonstrar esta proposta de valor de ponta a ponta, um modelo de base exemplar baseado em transformador de visão para infraestrutura civil (pré-treinado usando conjuntos de dados públicos e personalizados específicos do setor) foi ajustado e implantado para inferência em uma borda de três nós (falou) aglomerado. A pilha de software incluía o Red Hat OpenShift Container Platform e o Red Hat OpenShift Data Science. Este cluster de borda também foi conectado a uma instância do hub Red Hat Advanced Cluster Management for Kubernetes (RHACM) em execução na nuvem.

Provisionamento sem toque

O provisionamento sem toque baseado em políticas foi feito com o Red Hat Advanced Cluster Management for Kubernetes (RHACM) por meio de políticas e tags de posicionamento, que vinculam clusters de borda específicos a um conjunto de componentes e configurações de software. Esses componentes de software – que se estendem por toda a pilha e abrangem computação, armazenamento, rede e carga de trabalho de IA – foram instalados usando vários operadores OpenShift, provisionamento de serviços de aplicativos necessários e S3 Bucket (armazenamento).

O modelo fundamental (FM) pré-treinado para infraestrutura civil foi ajustado por meio de um Jupyter Notebook no Red Hat OpenShift Data Science (RHODS) usando dados rotulados para classificar seis tipos de defeitos encontrados em pontes de concreto. O serviço de inferência deste FM ajustado também foi demonstrado usando um servidor Triton. Além disso, o monitoramento da integridade desse sistema de borda foi possível agregando métricas de observabilidade dos componentes de hardware e software via Prometheus ao painel central do RHACM na nuvem. As empresas de infraestrutura civil podem implantar esses FMs em seus locais periféricos e usar imagens de drones para detectar defeitos quase em tempo real, acelerando o tempo de obtenção de insights e reduzindo o custo de movimentação de grandes volumes de dados de alta definição de e para a nuvem.

Resumo

Combinando IBM Watson Os recursos de dados e plataforma de IA para modelos básicos (FMs) com um dispositivo de ponta permitem que as empresas executem cargas de trabalho de IA para ajuste fino e inferência de FM na borda operacional. Este dispositivo pode lidar com casos de uso complexos prontos para uso e cria a estrutura hub-and-spoke para gerenciamento centralizado, automação e autoatendimento. As implantações do Edge FM podem ser reduzidas de semanas para horas com sucesso repetível, maior resiliência e segurança.

Saiba mais sobre modelos fundamentais

Certifique-se de verificar todas as parcelas desta série de postagens de blog sobre computação de ponta: