Los modelos de aprendizaje automático son herramientas poderosas que podrían ayudar a las empresas a tomar decisiones más informadas y optimizar sus operaciones. Sin embargo, a medida que estos modelos se implementan y ejecutan en producción, están sujetos a un fenómeno conocido como deriva del modelo.
La deriva del modelo ocurre cuando el rendimiento de un modelo de aprendizaje automático se degrada con el tiempo debido a cambios en los datos subyacentes, lo que genera predicciones inexactas y consecuencias potencialmente significativas para una empresa. Para abordar este desafío, las organizaciones están recurriendo a MLOps, un conjunto de prácticas y herramientas que ayudan a gestionar el ciclo de vida del aprendizaje automático de producción.
In this article, we’ll explore model drift, the different types of it, how to detect it, and most importantly, how to handle it in production using MLOps. By understanding and managing model drift, businesses can ensure that their machine learning models remain accurate and effective over time, delivering the insights and outcomes that they need to thrive.
Foto por Nicolás Peyrol on Unsplash
La deriva del modelo, también conocida como deterioro del modelo, es un fenómeno del aprendizaje automático en el que el rendimiento del modelo disminuye con el tiempo. Esto significa que el modelo comenzará gradualmente a dar malas predicciones que disminuirán la precisión con el tiempo.
Existen diferentes razones para el cambio de modelo, como cambios en la recopilación de datos o las relaciones subyacentes entre variables. Por lo tanto, el modelo no podrá captar estos cambios y el rendimiento disminuirá a medida que aumenten los cambios.
Detectar y abordar la desviación del modelo es una de las tareas esenciales que resuelve MLOps. Se utilizan técnicas como la supervisión del modelo para detectar la presencia de deriva del modelo y el reentrenamiento del modelo es una de las principales técnicas utilizadas para superar la deriva del modelo.
Comprender el tipo de deriva del modelo es esencial para actualizar el modelo en función de los cambios que ocurrieron en los datos. Hay tres tipos principales de deriva:
Deriva del concepto
La deriva del concepto ocurre cuando cambia la relación entre el objetivo y la entrada. Por tanto, el algoritmo de aprendizaje automático no proporcionará una predicción precisa. Hay cuatro tipos principales de deriva de conceptos:
- Deriva repentina: Se produce una desviación repentina del concepto si la relación entre las variables independientes y dependientes ocurre repentinamente. Un ejemplo muy famoso es la repentina aparición de la pandemia de covid 19. La aparición de la pandemia ha cambiado repentinamente la relación entre la variable objetivo y las características en diferentes campos, por lo que un modelo predictivo entrenado con datos previamente entrenados no podrá predecir con precisión durante el tiempo de la pandemia.
- Deriva gradual: In a gradual concept drift, the relation between the input and the target may change slowly and subtly. This can result in a slow decline in the performance of a machine learning model, as the model becomes less accurate over time. An example of the gradual concept drift is fraudulent behavior. Fraudsters tend to understand how the fraud detection system works and change their behavior over time to escape the system. Therefore a machine learning model trained on historical fraudulent transaction data will not accurately predict the gradual changes in the fraudster’s behavior. For example, consider a machine learning model used for predicting stock prices in which the model is trained on data from the past five years and its performance is evaluated on new data from the current year. However, as time goes by, the market dynamics may change, and the relationship between the variables that influence stock prices may evolve gradually. This can result in incremental drift, where the model’s accuracy gradually deteriorates over time as it becomes less effective at capturing the changing relationship between the variables.
- Deriva incremental: La deriva incremental ocurre cuando la relación entre la variable objetivo y la entrada cambia gradualmente con el tiempo, lo que generalmente ocurre debido a cambios en el proceso de generación de datos.
- Deriva recurrente: Esto también se conoce como estacionalidad. Un ejemplo típico es el aumento de las ventas durante Navidad o el Black Friday. Un modelo de aprendizaje automático que no tenga en cuenta estos cambios estacionales de forma inexacta terminará proporcionando predicciones inexactas para estos cambios estacionales.
Estos cuatro tipos de deriva de conceptos se muestran en la siguiente figura.
Tipos de deriva conceptual | Imagen de Aprendizaje bajo la deriva conceptual: una revisión.
Deriva de datos
La deriva de datos ocurre cuando cambian las propiedades estadísticas de los datos de entrada. Un ejemplo de esto es el cambio en la distribución de edad del usuario de una determinada aplicación a lo largo del tiempo, por lo tanto, un modelo entrenado en una distribución de edad específica que se utiliza para estrategias de marketing tendrá que cambiarse ya que el cambio en la edad afectará la estrategias de marketing.
Cambios de datos ascendentes
El tercer tipo de deriva son los cambios de datos ascendentes. Esto se refiere a los cambios de datos operativos en la canalización de datos. Un ejemplo típico de esto es cuando una característica específica ya no se genera, lo que da como resultado un valor faltante. Otro ejemplo es un cambio en la unidad de medida, por ejemplo si un determinado sensor mide una cantidad en grados Celsius y luego cambia a Fahrenheit.
Detectar la desviación del modelo no es sencillo y no existe un método universal para detectarla. Sin embargo, discutiremos algunos de los métodos populares para detectarlo:
- La prueba de Kolmogorov-Smirnov (prueba KS): La prueba KS es una prueba no paramétrica para detectar el cambio en la distribución de datos. Se utiliza para comparar los datos de entrenamiento y los datos posteriores al entrenamiento y encontrar los cambios de distribución entre ellos. La hipótesis nula para este conjunto de pruebas establece que la distribución de los dos conjuntos de datos es la misma, por lo que si se rechaza la hipótesis nula, habrá un cambio de modelo.
- El índice de estabilidad de la población (PSI): PSI es una medida estadística que se utiliza para medir la similitud en la distribución de variables categóricas en dos conjuntos de datos diferentes. Por lo tanto, se puede utilizar para medir los cambios en las características de variables categóricas en el conjunto de datos de entrenamiento y post-entrenamiento.
- Método de Page-Hinkley: El Page-Hinkely también es un método estadístico que se utiliza para observar cambios en la media de los datos a lo largo del tiempo. Generalmente se utiliza para detectar pequeños cambios en la media que no son evidentes al observar los datos.
- Supervisión del rendimiento: Uno de los métodos más importantes para detectar el cambio de concepto es monitorear el desempeño del modelo de aprendizaje automático en producción y observar su cambio y, si cruza un cierto umbral, podemos desencadenar una determinada acción para corregir este cambio de concepto.
Manejo de la deriva en la producción | Imagen por ijeab en Freepik.
Finally, let’s see how to handle the detected model drift in production. There is a wide spectrum of strategies used to handle the model drift depending on the type of drift, the data we are working on, and the project in production. Here is a summary of the popular methods that are used to handle model drift in production:
- Aprende digitalmente: Dado que la mayoría de las aplicaciones del mundo real se ejecutan con datos en tiempo real, el aprendizaje en línea es uno de los métodos comunes que se utilizan para manejar la deriva. En el aprendizaje en línea, el modelo se actualiza sobre la marcha a medida que el modelo trata una muestra a la vez.
- Reentrenamiento periódico del modelo: Una vez que el rendimiento del modelo cae por debajo de un cierto umbral o se observa un cambio de datos, se puede configurar un activador para volver a entrenar el modelo con datos recientes.
- Volver a capacitarse periódicamente en una submuestra representativa: Una forma más eficaz de manejar la deriva de conceptos es seleccionar una submuestra representativa de la población y etiquetarla utilizando expertos humanos y volver a entrenar el modelo en ellos.
- Caída de características: Este es un método simple pero efectivo que puede usarse para manejar la deriva de conceptos. Usando este método, entrenaremos varios modelos, cada uno usando una característica y para cada modelo, luego se monitorea la respuesta AUC-ROC, y si el valor de AUC-ROC superó un cierto umbral usando una característica particular, entonces podemos eliminarlo como esto podría participar en la deriva.
Referencias
En este artículo, analizamos la deriva del modelo, que es el fenómeno del aprendizaje automático en el que el rendimiento de un modelo se deteriora con el tiempo debido a cambios en los datos subyacentes. Las empresas están recurriendo a MLOps, un conjunto de prácticas y herramientas que gestionan el ciclo de vida de los modelos de aprendizaje automático en producción, para superar estos desafíos.
Describimos los diferentes tipos de deriva que pueden ocurrir, incluida la deriva de conceptos, la deriva de datos y los cambios de datos ascendentes, y cómo detectar la deriva del modelo utilizando métodos como la prueba de Kolmogorov-Smirnov, el índice de estabilidad de la población y el método de Page-Hinkley. Finalmente, analizamos las técnicas populares para manejar la deriva del modelo en producción, incluido el aprendizaje en línea, el reentrenamiento periódico del modelo, el reentrenamiento periódico en una submuestra representativa y la eliminación de funciones.
Youssef Rafaat es un investigador de visión artificial y científico de datos. Su investigación se centra en el desarrollo de algoritmos de visión artificial en tiempo real para aplicaciones sanitarias. También trabajó como científico de datos durante más de 3 años en el dominio de marketing, finanzas y atención médica.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoAiStream. Inteligencia de datos Web3. Conocimiento amplificado. Accede Aquí.
- Acuñando el futuro con Adryenn Ashley. Accede Aquí.
- Compra y Vende Acciones en Empresas PRE-IPO con PREIPO®. Accede Aquí.
- Fuente: https://www.kdnuggets.com/2023/05/managing-model-drift-production-mlops.html?utm_source=rss&utm_medium=rss&utm_campaign=managing-model-drift-in-production-with-mlops
- :posee
- :es
- :no
- :dónde
- $ UP
- a
- Poder
- Mi Cuenta
- la exactitud
- preciso
- precisamente
- la columna Acción
- dirección
- direccionamiento
- afectar
- edad
- algoritmo
- algoritmos
- también
- an
- y
- Otra
- aparente
- Aplicación
- aplicaciones
- somos
- artículo
- AS
- At
- Malo
- basado
- BE
- se convierte en
- a continuación
- entre
- Más allá de
- Negro
- Black Friday
- negocios
- pero
- by
- PUEDEN
- Capturando
- lucha
- Celsius
- a ciertos
- Reto
- retos
- el cambio
- cambiado
- Cambios
- cambio
- características
- Navidad
- --
- Algunos
- comparar
- computadora
- Visión por computador
- concepto
- Consecuencias
- Considerar
- correcta
- podría
- Covid
- Current
- datos
- científico de datos
- conjuntos de datos
- acuerdo
- decisiones
- Rechazar
- disminuir
- entregar
- dependiente
- Dependiente
- desplegado
- detectado
- Detección
- el desarrollo
- una experiencia diferente
- discutir
- discutido
- dominio
- Soltar
- Dejar caer
- dos
- durante
- dinámica
- cada una
- Eficaz
- final
- garantizar
- escapar
- esencial
- Éter (ETH)
- evaluado
- evoluciona
- ejemplo
- expertos
- explorar
- FALLO
- Caídas
- famoso
- Feature
- Caracteristicas
- Terrenos
- Figura
- Finalmente
- financiar
- Encuentre
- se centra
- Digital XNUMXk
- fraude
- detección de fraude
- estafadores
- fraudulento
- Viernes
- Desde
- generado
- la generación de
- Donar
- Va
- gradual
- gradualmente
- encargarse de
- Tienen
- he
- la salud
- ayuda
- esta página
- su
- histórico
- Cómo
- Como Hacer
- Sin embargo
- HTTPS
- humana
- if
- imagen
- importante
- in
- incorrecto
- Incluye
- aumente
- independientes
- índice
- influir
- informó
- Las opciones de entrada
- Insights
- dentro
- IT
- SUS
- jpg
- nuggets
- conocido
- etiquetado
- líder
- aprendizaje
- menos
- ciclo de vida
- Etiqueta LinkedIn
- ll
- por más tiempo
- mirando
- máquina
- máquina de aprendizaje
- Inicio
- para lograr
- gestionan
- administrar
- Mercado
- Marketing
- Estrategias de marketing
- Puede..
- personalizado
- significa
- medir
- multiplataforma
- Método
- métodos
- podría
- que falta
- MLOps
- modelo
- modelos
- monitoreado
- monitoreo
- más,
- MEJOR DE TU
- múltiples
- ¿ Necesita ayuda
- Nuevo
- Nicolas
- no
- observar
- se produjo
- of
- on
- una vez
- ONE
- en línea
- Aprende digitalmente
- operativos.
- Operaciones
- Optimización
- or
- para las fiestas.
- resultados
- esbozado
- Más de
- Superar
- pandemia
- participar
- particular
- pasado
- (PDF)
- actuación
- periódico
- un fenómeno mundial
- industrial
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- Popular
- población
- la posibilidad
- poderoso
- prácticas
- predecir
- predecir
- predicción
- Predicciones
- presencia
- Precios
- Producción
- proyecto
- propiedades
- proporcionar
- proporcionando
- la cantidad
- mundo real
- en tiempo real
- razones
- reciente
- se refiere
- relación
- relación
- Relaciones
- permanecer
- representante
- la investigación
- investigador
- respuesta
- resultado
- resultante
- reentrenamiento
- Ejecutar
- s
- ventas
- mismo
- Científico
- estacional
- ver
- seleccionar
- set
- Turno
- CAMBIANDO
- mostrado
- importante
- sencillos
- desde
- lento
- Despacio
- chica
- So
- RESOLVER
- algo
- soluciones y
- Spectrum
- Estabilidad
- comienzo
- Zonas
- estadístico
- en stock
- sencillo
- estrategias
- en streaming
- sujeto
- tal
- repentino
- RESUMEN
- te
- Target
- tareas
- técnicas
- test
- que
- esa
- El proyecto
- su
- Les
- luego
- Ahí.
- por lo tanto
- Estas
- ellos
- Código
- así
- Tres
- umbral
- Prosperar
- equipo
- a
- Entrenar
- entrenado
- Formación
- transaccional
- detonante
- Turning
- dos
- tipo
- tipos
- principiante
- bajo
- subyacente
- entender
- comprensión
- unidad
- Universal
- Actualizar
- actualizado
- Datos aguas arriba
- usado
- Usuario
- usando
- generalmente
- propuesta de
- muy
- visión
- Camino..
- we
- cuando
- que
- amplio
- seguirá
- trabajado
- trabajando
- funciona
- año
- años
- zephyrnet