Erfolgsgeschichte

Virtusa hilft großen US-Banken bei der Umstrukturierung ihres Prozesses zur Überprüfung der Datenqualität durch vereinfachte Automatisierung

Die Herausforderung

Unser Kunde, eine große US-Bank, ebenfalls ein Top-Unternehmen für Wealth Management und Custody Services, verfügte über eine veraltete Data-Warehouse-Umgebung mit schlechter Datenqualität. Als Virtusa eine Initiative zur Schaffung eines Data Warehouse auf Snowflake einleitete, um das alte durch ein neues Datenmodell zu ersetzen, wurde das Erstellen und Ausführen von Datenqualitätsprüfungen in der neuen Umgebung zu einer Herausforderung. 

Ensure that you open the links to enable the Next button, assuming you have read all the documents.
Okay & NextClick to Next
Die Lösung

Virtusa entwickelte und implementierte Unit- und End-to-End-Datenqualitätstests für Snowflake unter Verwendung von Virtusa Data Quality Checks und Great Expectations. Die Testfälle wurden von den IT-Teams der Bank und von Virtusa gemeinsam entwickelt, Virtusa erstellte Test-Suiten, und die Ausführung wurde von der Bank überprüft. Die Tests wurden automatisiert und mit Apache Airflow orchestriert, das Zeitpläne und Job-Abhängigkeiten in einem gerichteten Diagramm visuell definiert.

Die optimierten Datenprozesse umfassten: 

  • Die Erstellung von mehr als tausend White-Box-Unit-Tests, um sicherzustellen, dass die Datenübertragung (von On-Premises zu Raw) und die nachfolgenden Pipeline-Stufen, einschließlich komplexer Transformationen, korrekt und vollständig waren. 
  • Vereinfachung der Legacy-Implementierung für Datenqualitätsprüfungen
  • Automatisierung für das nächtliche Testen ganzer Suiten, einschließlich bestimmter Dateien oder Themenbereiche, die sich während der Entwicklung geändert haben könnten.   
  • Anpassen der Testparameter basierend auf Umgebungsvariablen 
Prozess zur Überprüfung der Datenqualität mit vereinfachter Automatisierung
Das Ergebnis

Mit der Hilfe von Virtusa war der Kunde in der Lage, alle notwendigen Datenprüfungen durchzuführen und die Produktivität zu steigern, während gleichzeitig die Ressourcen geschont wurden. Unter Anwendung der vom Kunden geforderten Test-First-Methodik stellten wir ein 3-köpfiges Prüferteam zusammen, das mit dem IT-Team der Bank zusammenarbeitete und Testfälle definierte. Anschließend arbeiteten wir mit einem 15-köpfigen Entwicklungsteam von Virtusa zusammen, um alle Komponententests zu implementieren. Im weiteren Verlauf der Pipeline implementierte das Team auch End-to-End-Tests für die Verbraucherzone in Snowflake, um Statusinformationen wie Kontostände zu überprüfen. 

Infolgedessen war der Kunde in der Lage: 

  • Nutzen Sie erfolgreich Warehouse-Ingestion und Datenpipeline-Entwicklung von Virtusa für viele Datenbedingungen und -varianten.
  • Erzielen Sie eine Automatisierung von Tests und Zeitplänen mit Hilfe von Befehlszeilen und Airflow.
  • Sorgen Sie für eine klare, konsistente und genaue Datenqualität – ohne Lizenzkosten.
Ensure that you open the links to enable the Next button, assuming you have read all the documents.
Okay & NextClick to Next
Verwandte Inhalte