framgångssaga

Virtusa hjälper stora amerikanska banker att omstrukturera sin datakvalitetskontrollprocess med förenklad automatisering

Utmaningen

Vår kund, en stor amerikansk bank, också ett toppföretag för Wealth Management and Custody Services, hade en äldre datalagermiljö med dålig datakvalitet. När Virtusa inledde ett initiativ för att skapa ett datalager på Snowflake för att ersätta det gamla med en ny datamodell blev det en utmaning att skapa och köra datakvalitetskontroller i den nya miljön. 

Lösningen

Virtusa utvecklade och implementerade enhets- och end-to-end-datakvalitetstestning för Snowflake med hjälp av Virtusa Data Quality Checks and Great Expectations. Testfall utvecklades gemensamt av bankens IT- och Virtusa-team, Virtusa skapade testsviter och genomföranden verifierades av banken. Testerna automatiserades och orkestrerades med Apache Airflow, som visuellt definierar scheman och jobbberoenden i ett riktat diagram.

De strömlinjeformade dataprocesserna inkluderade:

  • Skapa över tusen white-box-enhetstester för att säkerställa att dataförflyttningar (från lokal till rå) och efterföljande pipelinesteg, inklusive komplexa omvandlingar, var korrekta och fullständiga.
  • Förenkla äldre implementering för datakvalitetskontroller
  • Automatisering för att testa hela sviterna på nattlig basis, inklusive specifika filer eller ämnesområden som kan ha ändrats under utvecklingen.   
  • Anpassa testparametrar baserat på miljövariabler 
Process för kontroll av datakvalitet med förenklad automatisering
Resultatet

Med Virtusas hjälp kunde klienten utföra alla nödvändiga datakontroller och öka produktivitetsnivåerna samtidigt som resurserna bevarades. Med hjälp av den test-first-metod som krävs av kunden byggde vi ett testteam med 3 medlemmar för att samarbeta med bankens IT-team och definiera testfall. Vi arbetade sedan med ett utvecklingsteam på 15 personer från Virtusa för att implementera alla enhetstester. När pipelinen fortskred implementerade teamet också end-to-end-tester på konsumentzonen i Snowflake för att kontrollera statusar som kontosaldon. 

Som ett resultat kunde klienten: 

  • Använd framgångsrikt Virtusas lagerinmatning och datapipelineutveckling över många dataförhållanden och variationer.
  • Uppnå testning och schemaläggningsautomatisering med både kommandorad och luftflöde.
  • Upprätta tydlig, konsekvent och korrekt datakvalitet – utan licenskostnader.
Ramlösning för datakvalitetskontroller (DQC)

Lär dig hur Virtusas lösning för ramverk för datakvalitetskontroller kan förändra och automatisera hur ditt företag utför datakvalitetskontroller. 

Läs mer
Relaterat innehåll