Modelos fundamentales en el borde – Blog de IBM

Modelos fundamentales (FM) están marcando el comienzo de una nueva era en aprendizaje automático (ML) y inteligencia artificial (AI), lo que está conduciendo a un desarrollo más rápido de la IA que puede adaptarse a una amplia gama de tareas posteriores y ajustarse para una variedad de aplicaciones. 

Con la creciente importancia del procesamiento de datos donde se realiza el trabajo, ofrecer modelos de IA en el borde empresarial permite predicciones casi en tiempo real, respetando al mismo tiempo los requisitos de privacidad y soberanía de los datos. Al combinar el IBM Watsonx capacidades de plataforma de datos e IA para FM con informática de punta, las empresas pueden ejecutar cargas de trabajo de IA para realizar inferencias y ajustes de FM en el borde operativo. Esto permite a las empresas escalar las implementaciones de IA en el borde, reduciendo el tiempo y el costo de implementación con tiempos de respuesta más rápidos.

Asegúrese de consultar todas las entregas de esta serie de publicaciones de blog sobre informática de punta:

¿Qué son los modelos fundacionales?

Los modelos fundamentales (FM), que se entrenan en un amplio conjunto de datos sin etiquetar a escala, están impulsando aplicaciones de inteligencia artificial (IA) de última generación. Se pueden adaptar a una amplia gama de tareas posteriores y ajustarse para una variedad de aplicaciones. Los modelos modernos de IA, que ejecutan tareas específicas en un solo dominio, están dando paso a los FM porque aprenden de manera más general y trabajan en todos los dominios y problemas. Como sugiere el nombre, un FM puede ser la base para muchas aplicaciones del modelo de IA.

Los FM abordan dos desafíos clave que han impedido que las empresas amplíen la adopción de la IA. En primer lugar, las empresas producen una gran cantidad de datos sin etiquetar, de los cuales sólo una fracción está etiquetada para el entrenamiento del modelo de IA. En segundo lugar, esta tarea de etiquetado y anotación requiere un uso extremadamente humano y a menudo requiere varios cientos de horas del tiempo de un experto en la materia (PYME). Esto hace que sea prohibitivo en términos de costos escalar entre casos de uso, ya que requeriría ejércitos de pymes y expertos en datos. Al ingerir grandes cantidades de datos sin etiquetar y utilizar técnicas de autosupervisión para el entrenamiento de modelos, los FM han eliminado estos cuellos de botella y han abierto la vía para la adopción a gran escala de la IA en toda la empresa. Estas enormes cantidades de datos que existen en todas las empresas están esperando a ser liberadas para generar conocimientos.

¿Qué son los grandes modelos de lenguaje?

Los modelos de lenguaje grande (LLM) son una clase de modelos fundamentales (FM) que constan de capas de redes neuronales que han sido entrenados con estas cantidades masivas de datos sin etiquetar. Utilizan algoritmos de aprendizaje autosupervisados ​​para realizar una variedad de procesamiento del lenguaje natural (PNL) tareas de manera similar a cómo los humanos usan el lenguaje (ver Figura 1).

Escalar y acelerar el impacto de la IA

Hay varios pasos para construir e implementar un modelo fundamental (FM). Estos incluyen la ingesta de datos, la selección de datos, el preprocesamiento de datos, el entrenamiento previo de FM, el ajuste de modelos para una o más tareas posteriores, el servicio de inferencias y la gestión del ciclo de vida y la gobernanza de modelos de datos e IA, todos los cuales pueden describirse como FMOps.

Para ayudar con todo esto, IBM ofrece a las empresas las herramientas y capacidades necesarias para aprovechar el poder de estos FM a través de IBM Watsonx, una plataforma de datos e inteligencia artificial preparada para empresas y diseñada para multiplicar el impacto de la inteligencia artificial en toda la empresa. IBM Watsonx consta de lo siguiente:

1. IBM watsonx.ai trae nuevo IA generativa capacidades, impulsadas por FM y aprendizaje automático (ML) tradicional, en un potente estudio que abarca el ciclo de vida de la IA.
2. IBM watsonx.datos es un almacén de datos diseñado para su propósito construido sobre una arquitectura de lago abierto para escalar cargas de trabajo de IA para todos sus datos, en cualquier lugar.
3. IBM watsonx.gobernanza es un conjunto de herramientas de gobernanza del ciclo de vida de la IA automatizado de extremo a extremo diseñado para permitir flujos de trabajo de IA responsables, transparentes y explicables.

Otro vector clave es la creciente importancia de la informática en el borde empresarial, como ubicaciones industriales, plantas de fabricación, tiendas minoristas, sitios de telecomunicaciones, etc. Más específicamente, la IA en el borde empresarial permite el procesamiento de datos donde se realiza el trabajo para Análisis casi en tiempo real. La ventaja empresarial es donde se generan grandes cantidades de datos empresariales y donde la IA puede proporcionar información empresarial valiosa, oportuna y procesable.

Ofrecer modelos de IA en el borde permite predicciones casi en tiempo real, respetando al mismo tiempo los requisitos de privacidad y soberanía de los datos. Esto reduce significativamente la latencia asociada a menudo con la adquisición, transmisión, transformación y procesamiento de datos de inspección. Trabajar en el borde nos permite salvaguardar los datos empresariales confidenciales y reducir los costos de transferencia de datos con tiempos de respuesta más rápidos.

Sin embargo, ampliar las implementaciones de IA en el borde no es una tarea fácil en medio de desafíos relacionados con datos (heterogeneidad, volumen y regulación) y recursos limitados (cómputo, conectividad de red, almacenamiento e incluso habilidades de TI). Estos se pueden describir en términos generales en dos categorías:

• Tiempo/coste de implementación: Cada implementación consta de varias capas de hardware y software que deben instalarse, configurarse y probarse antes de la implementación. Hoy en día, un profesional de servicio puede tardar hasta una o dos semanas en realizar la instalación. en cada lugar, lo que limita gravemente la rapidez y la rentabilidad con la que las empresas pueden ampliar las implementaciones en toda su organización.                                  
• Gestión del día 2: La gran cantidad de bordes desplegados y la ubicación geográfica de cada implementación a menudo podrían hacer que sea prohibitivamente costoso proporcionar soporte de TI local en cada ubicación para monitorear, mantener y actualizar estas implementaciones.

Implementaciones de IA perimetral

IBM desarrolló una arquitectura perimetral que aborda estos desafíos incorporando un modelo de dispositivo integrado de hardware/software (HW/SW) a las implementaciones perimetrales de IA. Consta de varios paradigmas clave que ayudan a la escalabilidad de las implementaciones de IA:

• Aprovisionamiento sin intervención y basado en políticas de toda la pila de software.
• Monitoreo continuo del estado del sistema perimetral
• Capacidades para administrar e impulsar actualizaciones de software/seguridad/configuración a numerosas ubicaciones de borde, todo desde una ubicación central basada en la nube para la administración del día 2.

Se puede utilizar una arquitectura distribuida de centro y radio para escalar las implementaciones de IA empresarial en el borde, en la que una nube central o un centro de datos empresarial actúa como un centro y el dispositivo de borde en caja actúa como un radio en una ubicación de borde.. Este modelo de centro y radio, que se extiende a través de entornos de nube híbrida y de borde, ilustra mejor el equilibrio necesario para utilizar de manera óptima los recursos necesarios para las operaciones de FM (consulte la Figura 2).

El entrenamiento previo de estos modelos básicos de lenguaje grande (LLM) y otros tipos de modelos básicos que utilizan técnicas autosupervisadas en vastos conjuntos de datos sin etiquetar a menudo necesita importantes recursos informáticos (GPU) y se realiza mejor en un centro. Los recursos informáticos prácticamente ilimitados y las grandes pilas de datos que a menudo se almacenan en la nube permiten el entrenamiento previo de modelos de parámetros grandes y la mejora continua de la precisión de estos modelos básicos.

Por otro lado, el ajuste de estos FM base para tareas posteriores (que solo requieren unas pocas decenas o cientos de muestras de datos etiquetados y servicios de inferencia) se puede lograr con solo unas pocas GPU en el borde empresarial. Esto permite que los datos etiquetados confidenciales (o los datos más importantes de la empresa) permanezcan de forma segura dentro del entorno operativo empresarial y, al mismo tiempo, reduce los costos de transferencia de datos.

Al utilizar un enfoque de pila completa para implementar aplicaciones en el perímetro, un científico de datos puede realizar ajustes, pruebas e implementación de los modelos. Esto se puede lograr en un único entorno y al mismo tiempo reducir el ciclo de vida de desarrollo para ofrecer nuevos modelos de IA a los usuarios finales. Plataformas como Red Hat OpenShift Data Science (RHODS) y Red Hat OpenShift AI recientemente anunciadas brindan herramientas para desarrollar e implementar rápidamente modelos de IA listos para producción en nube distribuida y entornos de borde.

Finalmente, ofrecer el modelo de IA perfeccionado en el perímetro empresarial reduce significativamente la latencia asociada a menudo con la adquisición, transmisión, transformación y procesamiento de datos. Desacoplar la capacitación previa en la nube del ajuste fino y la inferencia en el borde reduce el costo operativo general al reducir el tiempo requerido y los costos de movimiento de datos asociados con cualquier tarea de inferencia (consulte la Figura 3).

Para demostrar esta propuesta de valor de extremo a extremo, se ajustó e implementó un modelo de base ejemplar basado en transformadores de visión para infraestructura civil (preentrenado utilizando conjuntos de datos públicos y personalizados específicos de la industria) para realizar inferencias en un borde de tres nodos. (radio) grupo. La pila de software incluía Red Hat OpenShift Container Platform y Red Hat OpenShift Data Science. Este clúster perimetral también estaba conectado a una instancia del centro Red Hat Advanced Cluster Management for Kubernetes (RHACM) que se ejecuta en la nube.

Aprovisionamiento sin contacto

El aprovisionamiento sin intervención basado en políticas se realizó con Red Hat Advanced Cluster Management for Kubernetes (RHACM) a través de políticas y etiquetas de ubicación, que vinculan clústeres perimetrales específicos a un conjunto de componentes y configuraciones de software. Estos componentes de software, que se extienden a toda la pila y cubren la computación, el almacenamiento, la red y la carga de trabajo de IA, se instalaron utilizando varios operadores de OpenShift, aprovisionando los servicios de aplicaciones necesarios y S3 Bucket (almacenamiento).

El modelo fundamental (FM) previamente entrenado para infraestructura civil se ajustó mediante un Jupyter Notebook dentro de Red Hat OpenShift Data Science (RHODS) utilizando datos etiquetados para clasificar seis tipos de defectos encontrados en puentes de concreto. El servicio de inferencia de este FM optimizado también se demostró utilizando un servidor Triton. Además, el monitoreo del estado de este sistema de borde fue posible agregando métricas de observabilidad de los componentes de hardware y software a través de Prometheus al panel central de RHACM en la nube. Las empresas de infraestructura civil pueden implementar estos FM en sus ubicaciones periféricas y utilizar imágenes de drones para detectar defectos casi en tiempo real, lo que acelera el tiempo de obtención de información y reduce el costo de mover grandes volúmenes de datos de alta definición hacia y desde la nube.

Resumen

Combinando IBM Watsonx Las capacidades de la plataforma de datos e IA para modelos básicos (FM) con un dispositivo Edge-in-a-Box permiten a las empresas ejecutar cargas de trabajo de IA para realizar inferencias y ajustes de FM en el borde operativo. Este dispositivo puede manejar casos de uso complejos desde el primer momento y crea el marco centralizado para la administración centralizada, la automatización y el autoservicio. Las implementaciones de Edge FM se pueden reducir de semanas a horas con éxito repetible, mayor resiliencia y seguridad.

Obtenga más información sobre los modelos fundamentales

Asegúrese de consultar todas las entregas de esta serie de publicaciones de blog sobre informática de punta: