framgångssaga

Paradigmskifte till ramverk för dataintegration för ett ledande globalt konsumentelektronikföretag

med Virtusas metadatadrivna dataintegrationsramverk på AWS med hjälp av Talend

På senare tid har konsumentelektronikindustrin stått inför utmaningen att hålla jämna steg med de många dataintegreringarna från olika källor över sina produkter. Med ständigt föränderlig kundefterfrågan har det funnits ett behov av att ha ett robust ramverk för dataintegration som kan ta in data från olika datakällor och transformera när och när det behövs.  

Utmaningen

Vår kund, ledande inom detta utrymme, hade en arkitektur som var tätt kopplad till lagrings- och beräkningsmöjligheter.

Som ett resultat blev hela systemet dyrt med tunga prestandaproblem som var svåra att underhålla. Detta ledde till många andra utmaningar, inklusive långsam adoption, mycket oanvänd kapacitet under lågtrafik, lagringskapacitet och problem med katastrofåterställning. Det fanns ett akut behov av att öka lagringsutrymmet, vilket återigen skulle leda till skalning av dyra beräkningsresurser, försening av introduktion av nya appar och försenad datapipeline och -process.

 

Lösningen

Noggrann metod för dataintegration med metadatadrivet ramverk av Virtusa.

I en typisk/traditionell ETL- eller datalagerlösning måste du mata in data i din datasjö från olika källsystem och rensa dem innan de kan bearbetas vidare av nedströmsapplikationer. Dessutom har datamigrering från lokala system till moln i nuvarande scenario blivit mer och mer populärt.

Virtusa som strategisk affärspartner initierade processen med migrering av klientens befintliga ramverk för datainsamling med hjälp av Hadoop moderniseringstekniker på AWS. Dessutom använde vi Talend för att extrahera, transformera och ladda (ETL) med hjälp av kundens serverlösa ramverkslösningar för datasjöar. 

I ett inlägg skapade vi idén att dra nytta av metadatadrivet ramverk för dataintegrering och utvecklade beskrivningen för att mata in data från alla strukturerade datakällor till valfri destination genom att lägga till metadatainformation i en metadatafil/-tabell. Detta ramverk kan mata in data från alla strukturerade datakällsystem (RDBMS som Oracle, Local File, FTP-serverdrag etc.) och lagra data till valfri destination (AWS S3, Azure ADLS, RDS etc.). 

Denna accelerator stöder schemautveckling. Alla ändringar i schemat för ett befintligt flöde har ingen inverkan på lösningsramverket, vilket minskar behovet av kodändringar. Detta kommer att spara bygg- och testtid och mycket ansträngning genom att minska behovet av konsekvensanalys av eventuella schemaändringar.

 

Dataintegrationsramlösning
Fördelen

Standardisera processen för dataintag och integration med Virtusa metadatadrivet dataintegrationsramverk och datalagring med AWS S3.

Med Virtusas metadatadrivna ramverk och datalagring med AWS S3 gav vi möjligheten att replikera och lägga till nya datakällor på kortare handläggningstid. Hela ramverket var i ett abstraktionslager där det är enkelt att definiera/återanvända mappningar, lätt att definiera olika källor och mål för var data ska vara, och även effektiva definiera/återanvända transformationsregler i metadatadelen av ramverket. Vi hjälpte kunden med följande - 

  • Frikoppling av Compute och Storage-skalan på ett oberoende sätt
  • Ihållande och övergående Cluster-distribution
  • Enkel användning; isolering av arbetsbelastning; Automatiserad
  • Elastisk; inbyggd automatisk skalning
  • Kostnadseffektiv
  • Arbetsbelastningar flyttas från batch till realtid med förbättrade körtider ~30 minuter

I ett nötskal, metadatadrivet ETL-ramverk av Virtusa är ett utmärkt tillvägagångssätt för att standardisera inkommande data. Det hjälpte till att förenkla en komplicerad process med snabb utveckling på ETL-sidan genom att ge mer flexibilitet under processen att införliva olika datakällor i ett datalager. Kunden kan enkelt replikera processen utan att återskapa något helt unikt för varje integrationssatsning, eller för varje ny uppsättning data som behöver integreras.

Analytics, Insights, Data (analys, insikt, data)

Modernisera dina dataplattformar och använd AI/ML för att omdefiniera, omarbeta affärsprocesser som leder till överlägsen kundupplevelse och högre produktivitet.

Läs mer Begär en demo
Relaterat innehåll