En guide till maskininlärningsoperationer (MLOps)

Mindre än hälften av ML-modellerna går i produktion! Varför?

Med den kontinuerliga utvecklingen av maskininlärningsteknologi tar mainstreaming av ML-baserade lösningar och produktionsutbyggnader i stor skala snabbt fart. En Gartner -studie avslöjar dock att endast 47% av företagets AI/ML -modeller går i produktion. En del av anledningen ligger i att underskatta de grundläggande realiteterna i maskininlärning. Några av dessa inkluderar:  

1. ML: s manuella och experimentella natur (man måste testa olika parametrar, funktioner, algoritmer, hyperparametrar, etc. manuellt)
2. Manuell spårning av databeroenden
3. Komplexiteten i versionering och spårning av modellexperiment, utbildning och distribution
4. Dold ML teknisk skuldackumulering 

En annan anledning ligger i bristen på en strömlinjeformad process för att genomföra ML-projekt. ML-initiativ är en samordnad insats av flera funktioner, och kod är bara en av dem.

Forskning visar att de flesta datavetenskapsteam tillbringar större delen av sin tid med dataavstämning, dataförberedelse, programpaket och ramhantering, infrastrukturkonfiguration och komponentintegration – varav de flesta kan generaliseras som stödjande uppgifter. Även ML-utvecklingen i sig har huvudsakligen varit manuell hittills, driven av datavetenskap och datateknik. 

Sammantaget avgör dessa faktorer i vilken takt ML-projekt går från pilot till produktionsstadium. För att ge ML-baserade lösningar en upprepning av repeterbarhet och tillförlitlighet behöver företag ett moget MLOps-ekosystem. Detta inkluderar rätt verktyg, processer och lämplig skicklighet.

Avkodning MLOps: En spelväxlare!

Enligt Boston Consulting Group (BCG), pionjärer inom AI i stor skala, har företag som har skalat AI över verksamheten uppnått ett meningsfullt värde från sina investeringar. Dessa företag ägnar vanligtvis 10% av sin AI-investering åt algoritmer, 20% till teknik och upp till 70% till att bädda in AI i affärsprocesser och nya arbetssätt. Med andra ord investerar dessa organisationer dubbelt så mycket i människor och processer som de gör i teknik.

Organisationer som strävar efter att gå bortom experiment och bädda in ML i sina affärsprocesser kommer att tycka att MLOps är en spelväxlare. MLOps är den nya mjukvarutekniken som hjälper till att minska utvecklingscykeln och påskynda distributionen av ML-baserade lösningar i stor skala. Den fungerar i skärningspunkten mellan DevOps, Data Engineering och Machine Learning, som beskrivs i illustrationen nedan. 

• DevOps har hjälpt mjukvaruutvecklingsteam med sina kampar kring fragmenterade verktygskedjor, helhetsperspektivet, silor i utvecklings- och driftsteam och långa släppcykeltider. På samma sätt hanterar MLOps ML livscykelutmaningar i Feature Store, modellskapande, modellträning och utvärdering, modellversionering, modellstegsövergång, modellservering, övervakning och styrning. Och detta uppnås genom - Continuous Integration (CI), Continuous Delivery (CD) och Continuous Training & Monitoring.    
  
  
• Medan CI/CD hanterar utmaningarna med datainsamling och modellskapande, tillgodoser kontinuerlig utbildning den ML-livscykelns experimentella karaktär. Som nämnts tidigare är ML-applikationer mycket experimentella. Många aspekter som algoritmer, hyperparametrar etc. måste justeras kontinuerligt för att uppnå utplacerbara noggrannhetsnivåer. När ML-lösningarna väl har använts är de kända för att driva (Performance Degradation). Denna drift sker på grund av flera faktorer -    Förändring i dataprofiler, skillnad i utbildad pipeline mot serverad pipeline, etc. På grund av detta behöver implementerade modeller konstant övervakning och styrning, och kontinuerlig övervakning tar hand om detta. 

MLOps -antagande: Resa från grund till excellens

CDO: er och CIO: er som planerar att investera i MLOps kommer att behöva fokusera på människor, processer och verktyg/acceleratorer. Det första steget kan vara att bedöma MLOps mognadsstatus. 

Människor:

• Precis som med DevOps som kräver Dev- och Ops -team för att samarbeta, kräver MLOps flera kompetenser som dataingenjörer, ML-ingenjörer och utvecklingsteam för affärslogik för att samarbeta. Var och en måste se olika aspekter av ML-applikationen. 

Processer:

• Processen måste skräddarsys utifrån MLOps mognadsbedömning.
• MLOps-processen måste säkerställa integration med befintliga DevOps-processer samtidigt som den ger ytterligare unika funktioner som krävs för att hantera ML.

Verktyg/acceleratorer:

Verktygskedjan MLOps måste ge synlighet, hanterad åtkomstkontroll och samarbetsfunktioner för de inblandade teamen. Det finns tre huvudkategorier av MLOps-plattformar tillgängliga per datum.

• Stora molnplattformar som AWS, Microsoft och Google som har inbyggda MLOps-funktioner i sina maskininlärningstjänster.  
  
  
• Open-source-baserade MLOps-ramverk som KubeFlow eller MLFlow hanterar många aspekter av livscykeln för maskininlärningslösningar. 
  
  
• Erbjudanden från AI-fokuserade spelare som DataBricks, DataRobot, Verta, etc. fokuserar på den totala livscykeln eller individuella funktioner i maskininlärningspipelines som utbildning, övervakning och styrning.
  
  
• Interna acceleratorer byggda ovanpå verktyg med öppen källkod effektiviserar livscykeln från slutet till slut och erbjuder i vissa fall avancerade funktioner som övervakning och styrning.

MLOps-marknaden väntar snart på en anständig konsolideringsnivå.     

Optimal praxis för vanliga problem

Konkurrenskraftig inblick i marknadstrenderna

Vår interna (sekundära) forskning för att undersöka organisatorisk verklighet och deras tillämpning av MLOps avslöjade följande insikter:

Den amerikanska banksektorn är en tidig drivkraft (9 av de 10 bästa amerikanska bankerna) med utsedda roller som ska upprätta och verkställa MLOps. Den amerikanska bilindustrin står nära tvåa med 7 av de 10 bästa som brottas med MLOps.  Pharma, P&C Insurance Players och Healthcare Payers släpar efter på detta område – även om ML verkar vara en teknik de aktivt investerar i, för företagsinnovation. MLOps är relevant och nödvändigt för företag som vill hoppa med AI/ML. Branschdata visar också att marknaden för MLOps-lösningar förväntas nå 4 miljarder dollar år 2025, enligt Forbes.

Integrera/operationera dina ML-modeller med Virtusas MLOps-plattform

Virtusa erbjuder en MLOps-plattform som kan hjälpa till att påskynda ML-utveckling och distribution i stor skala. Plattformen fungerar som en enda plats för modellutveckling, livscykelhantering och övervakning. Modellutplaceringar till högre miljöer, inklusive produktion, förenklas. Plattformen erbjuder utmärkta övervaknings- och styrningsfunktioner, vilket möjliggör konstant utvärdering och kontinuerligt lärande för att undvika överraskande förändringar i modellprestanda i framtiden.

Slutsats:

Att bygga en komplett MLOps -modell som utvärderar de bästa verktygen, ramarna och metoderna blir en kritisk del av alla organisationer. Att förstå vilka krav som krävs för ett framgångsrikt genomförande av MLOps, som förklarats ovan, hjälper till att generera optimala resultat. Medan MLOps-plattformen hjälper till att förbättra organisationens ML-mognadskurva, ökar det accelererade antagandet av MLOps framgången för AI/ML-programimplementering med 50-60%. Nedströmseffekten när det gäller möjligheter till intäktsgenerering är enorm. Virtusas MLOps-plattform hjälper företag att skapa effektiva arbetsflöden och förbättra kundupplevelsen genom att utnyttja dataanalys för att påskynda beslutsfattandet.

Läs mer om Virtusas lösningar på ML

Referenser

• Vem behöver MLOps: Vilka data forskare vill uppnå och hur kan MLOps hjälpa? - Papper publicerat av Sasu Mäkinen, Henrik Skogström, Eero Laaksonen, Tommi Mikkonen på Cornell Universitys portal: Länk
• Continuous Delivery for Machine Learning-Automating the End-to-End Life Cycle of Machine Learning Applications ", av Danilo Sato, Arif Wider och Christoph Windheuser publicerad september 2019, på länken https://martinfowler.com/articles/cd4ml .html
• https://www.forbes.com/sites/tomtaulli 2020/08/01/mlops-what-you-need-to-know/