Guía de operaciones de aprendizaje automático (MLOps)

Menos de la mitad de los modelos de ML entran en producción. ¿Por qué?

Con la continua evolución de las tecnologías de aprendizaje automático, la generalización de las soluciones basadas en ML y las implementaciones de producción a escala están ganando impulso rápidamente. Sin embargo, un estudio de Gartner revela que sólo el 47 % de los modelos empresariales de IA/ML pasan a la fase de producción. Parte de la razón radica en la subestimación de las realidades fundamentales del aprendizaje automático. Algunas de ellas son:  

1. La naturaleza manual y experimental del ML (hay que probar manualmente diferentes parámetros, características, algoritmos, hiperparámetros, etc.)
2. Seguimiento manual de las dependencias de datos
3. La complejidad del control de versiones y el seguimiento de los experimentos, la formación y la implementación de modelos
4. Acumulación de la deuda técnica oculta de ML 

Otra razón radica en la falta de un proceso racionalizado para ejecutar proyectos de ML. Las iniciativas de ML son un esfuerzo coordinado de múltiples funciones, y el código es solo una de ellas.

Las investigaciones muestran que la mayoría de los equipos de ciencia de datos dedican la mayor parte de su tiempo a la gestión de los datos, la preparación de los datos, la gestión de paquetes de software y marcos, la configuración de la infraestructura y la integración de los componentes, la mayoría de las cuales pueden generalizarse como tareas de apoyo. Incluso el desarrollo del ML en sí mismo ha sido principalmente manual hasta ahora, impulsado por la comunidad de Data Science y de Engineering. 

En general, estos factores determinan el ritmo al que los proyectos de ML pasan de la fase piloto a la de producción. Para aportar un rigor de repetibilidad y fiabilidad a las soluciones basadas en ML, las empresas necesitan un ecosistema de MLOps maduro. Esto incluye las herramientas y los procesos adecuados, así como el talento debidamente cualificado.

Descifrar las MLOps: ¡un elemento determinante!

Según el Boston Consulting Group (BCG), pionero de la IA a escala, las empresas que han ampliado la IA por toda la empresa han obtenido un valor significativo de sus inversiones. Estas empresas suelen dedicar el 10 % de su inversión en IA a algoritmos, el 20 % a tecnologías y hasta el 70 % a integrar la IA en procesos de negocio y en nuevas formas de trabajar. En otras palabras, estas organizaciones invierten el doble en personas y procesos que en tecnologías.

Las organizaciones que se esfuerzan por ir más allá de la experimentación e integrar el ML en sus procesos de negocio encontrarán en MLOps un elemento determinante. MLOps es la disciplina de ingeniería de software emergente que ayuda a reducir el ciclo de desarrollo y acelerar la velocidad de implementación de soluciones basadas en ML a escala. Trabaja en la intersección de DevOps, la ingeniería de datos y el aprendizaje automático, como se describe en la siguiente ilustración. 

• DevOps ha ayudado a los equipos de ingeniería de software a resolver los problemas en torno a las cadenas de herramientas fragmentadas, la perspectiva general, los silos entre los equipos de desarrollo y operaciones, y los largos tiempos del ciclo de lanzamiento. Del mismo modo, MLOps aborda los desafíos del ciclo de vida de ML a través de Feature Store, la Creación de modelos, la Formación y evaluación de modelos, la Versión de modelos, la Transición de fases de Modelos, el Suministro, la supervisión y la gobernanza de modelos. Y esto se consigue a través de - Integración Continua (CI), Entrega Continua (CD), y Formación y supervisión continuas.
  
  
• Mientras que CI/CD aborda los retos de la recopilación de datos y la creación de modelos, la Formación continua atiende a la naturaleza experimental del ciclo de vida del ML. Como se ha mencionado anteriormente, las aplicaciones de ML son muy experimentales. Muchos aspectos, como los algoritmos, los hiperparámetros, etc., deben ajustarse continuamente para alcanzar niveles de precisión que puedan implementarse. Una vez implementadas, se sabe que las soluciones de ML se desvían (degradación del rendimiento). Esta desviación se produce debido a múltiples factores: cambios en los perfiles de datos, diferencias entre los modelos entrenados y los utilizados, etc. Debido a esto, los modelos implementados necesitan una supervisión y gobernanza constantes, y la Supervisión continua se encarga de ello. 

Adopción de MLOps: El recorrido desde los cimientos hasta la excelencia

Los CDO y CIO que planean invertir en MLOps tendrán que centrarse en las personas, los procesos y las herramientas/aceleradores. El primer paso puede ser evaluar el estado de madurez de las MLOps. 

Personas:

• Al igual que DevOps, que requiere la colaboración de los equipos de desarrollo y operaciones, MLOps requiere la colaboración de múltiples competencias, como los ingenieros de datos, los ingenieros de ML y los equipos de desarrollo de lógica empresarial. Cada uno de ellos necesita ver diferentes aspectos de la aplicación de ML. 

Procesos:

• El proceso debe adaptarse en función de la evaluación de la madurez de MLOps.
• El proceso de MLOps debe garantizar la integración con los procesos de DevOps existentes y, al mismo tiempo, ofrecer las capacidades únicas adicionales necesarias para gestionar el ML.

Herramientas/aceleradores:

La cadena de herramientas de MLOps debe proporcionar visibilidad, control de acceso gestionado y funciones de colaboración para los equipos implicados. Hay tres categorías principales de plataformas MLOps disponibles hasta la fecha.

• Grandes plataformas en la nube como AWS, Microsoft y Google tienen incorporadas capacidades de MLOps en sus servicios de aprendizaje automático.
  
  
• Frameworks de MLOps de código abierto como KubeFlow o MLFlow gestionan muchos aspectos del ciclo de vida de las soluciones de aprendizaje automático.
  
  
• Ofertas de actores centrados en la IA como DataBricks, DataRobot, Verta, etc. se centran en el ciclo de vida total o en características individuales de las canalizaciones de aprendizaje automático como la formación, la supervisión y la gobernanza.
  
  
• Aceleradores locales creados sobre herramientas de código abierto agilizan el ciclo de vida del ML de principio a fin y, en algunos casos, proporcionan capacidades avanzadas como la supervisión y la gobernanza.

El mercado de préstamos hipotecarios está preparado para un nivel decente de consolidación en breve.   

Prácticas óptimas para problemas comunes

Visión competitiva de las tendencias del mercado

Nuestra investigación interna (secundaria) para indagar en la realidad organizativa y su aplicación de MLOPs reveló las siguientes conclusiones:

El sector bancario de EE. UU. es uno de los primeros en actuar (9 de los 10 principales bancos de EE. UU.) tienen funciones designadas para establecer y ejecutar MLOps. El sector de la automoción de EE. UU. se sitúa en segundo lugar, con 7 de los 10 principales actores involucrados en MLOps. La industria farmacéutica, las compañías aseguradoras de bienes y los pagadores de servicios de salud están rezagados en esta área, a pesar de que el ML parece ser una tecnología en la que están invirtiendo activamente, para la innovación del negocio. MLOps es relevante y necesario para las empresas que quieren dar un salto con la IA/ML. Además, los datos del sector muestran que se espera que el mercado de las soluciones MLOps alcance los 4000 millones de dólares en 2025, según Forbes.

Integre o haga sus modelos de ML operativos con la plataforma MLOps de Virtusa

Virtusa ofrece una plataforma de MLOps que puede ayudar a acelerar el desarrollo y las implementaciones de ML a escala. La plataforma sirve como un único lugar para el desarrollo de modelos, la gestión del ciclo de vida y la supervisión. La implementación de modelos en entornos superiores, incluyendo la producción, se simplifica. La plataforma ofrece excelentes capacidades de supervisión y gobernanza, lo que permite una evaluación constante y capacidades de aprendizaje continuo para evitar cambios sorpresivos en el rendimiento del modelo en el futuro.

Conclusión:

Crear un modelo completo de MLOps que evalúe las mejores herramientas, marcos y metodologías se convierte en una parte crítica de cualquier organización. Entender cuáles son los requisitos para una correcta implementación de MLOps, como se explicó anteriormente, ayudará a generar resultados óptimos. Mientras que la plataforma MLOps ayuda a mejorar la curva de madurez de ML de la organización, la adopción acelerada de MLOps mejora el éxito de la implementación de programas de IA/ML en un 50-60 %. El impacto posterior en cuanto a las oportunidades de monetización es enorme. La plataforma MLOps de Virtusa ayuda a las empresas a crear flujos de trabajo eficientes y a mejorar la experiencia del cliente aprovechando el análisis de datos para acelerar la toma de decisiones.

Más información sobre las soluciones de Virtusa en ML

Referencias:

• ¿Quién necesita MLOps: qué buscan los científicos de datos y cómo puede ayudar MLOps? - Artículo publicado por Sasu Mäkinen, Henrik Skogström, Eero Laaksonen, Tommi Mikkonen en el portal de la Universidad de Cornell: Enlace
• Continuous Delivery for Machine Learning – Automating the End-to-End Life Cycle of Machine Learning Applications", por Danilo Sato, Arif Wider, y Christoph Windheuser publicado en septiembre de 2019, en el enlace https://martinfowler.com/articles/cd4ml.html
• https://www.forbes.com/sites/tomtaulli/2020/08/01/mlops-what-you-need-to-know/