Die vDataAid-Lösung von Virtusa hilft Unternehmen, die Entwicklung von Plattformen zur Datenmodernisierung zu beschleunigen, indem eine konfigurierbare und metadatengesteuerte Lösung bereitgestellt wird.
Die Lösung deckt verschiedene Phasen ab, darunter Dateneinspeisung, Datenvalidierung und die Verarbeitung von SCD-Daten (Slowly Changing Dimensions). Sie kombiniert mehrere Daten-Frameworks, wie z. B. Generic Data Ingestion, Data Validation und SCD Type 1 und Type 2, die leicht konfigurierbar, anpassbar und für jede Microsoft Azure-Plattform einsetzbar sind.
Die vDataAid-Lösung wird mit Azure Data Factory für die Dateneinspeisung und Spark Notebook für die Datenvalidierung entwickelt. Die Azure-Datenintegrationspipeline ist eine generische Pipeline für die Dateneinspeisung und -validierung, die vollständig durch Metadaten gesteuert wird.
Beispielsweise besteht der erste Schritt bei jeder Datenquellenkonfiguration darin, die Einspeisungs-Details wie Quell- und Zielpfade, die einzuspeisenden Objekte usw. in vorkonfigurierten Metadatentabellen zu erfassen. Anschließend verwenden wir eine einzige generische Pipeline für die Einspeisung, Validierung und Transformation (SCD) aller Objekte, ohne mehrere Pipelines erstellen und pflegen zu müssen.
Wichtige Funktionen
Sicherstellung umfassender und genauer Daten mit vDataAid
vDataAid ist eine Low-Code-Lösung, die jede Stufe des Datenladeprozesses prüft, um detaillierte Einblicke zu geben und das Verhalten der Pipeline zu kontrollieren. Zu den wichtigsten Funktionen gehören:
Dateneinspeisung
- Erfasst Daten aus allen Quellen, ohne mehrere Erfassungspipelines zu erstellen
- Übernahme von Daten aus verschiedenen Datenquellen wie RDBMS (Oracle, DB2, SAP, Teradata usw.) und Dateien (TXT, CSV, Excel, Json, XML usw.)
Auditing
- Speichert und verwaltet Statistiken wie Startzeit, Endzeit, Batch- und Auftragsstatus
- Erfasst die Anzahl der Quellen und Ziele, die Anzahl und die Zusammenfassung der Datenvalidierung
Auftragskontrolle und Abhängigkeiten
- Vorabprüfungen in Batches/Aufträgen, bevor mit der Ausführung fortgefahren wird, und die Möglichkeit des Neustarts für fehlgeschlagene Aufträge
- Verwaltet die Metadaten der Aufträge und die Abhängigkeiten
Job- und Objektherkunft
- Verwaltet die Auftrags- und Objektabfolge über mehrere Datenebenen in einem Data Lake
Framework für die Datenvalidierung
- Integriertes, konfigurierbares und anpassbares Datenvalidierungs-Framework für Qualitätsprüfungen wie Nicht-Null, Eindeutigkeit, Minimum, Maximum, Zwischen, Länge, Mittelwert und Median, Textübereinstimmungen usw.
SCD-Rahmen für Typ 1 und Typ 2
- Integriertes und konfigurierbares SCD Typ 1 und Typ 2 Framework für die Pflege der aktuellsten Daten im Data Lake
Fehlerprotokollierung und Benachrichtigungen
- Erfasst Fehler bei jeder Aktivität und protokolliert sie in den Auditing-Tabellen
- Sendet Fehlerbenachrichtigungs-E-Mails bei Fehlern in der Pipeline
Dashboards und Berichte für operative Einblicke
- Verwendung von Tools wie Power BI zur Erstellung von Dashboards und Berichten für zusätzliche Einblicke
Komplettlösung für nahtlose Datenintegration
vDataAid ist eine konfigurierbare und erweiterbare Lösung mit einer Plug-and-Play-Funktion für Azure, die eine mühelose Datenintegration ermöglicht.
- Hohe Betriebseffizienz mit 30–40 % weniger Aufwand für die Entwicklung von Pipelines
- Verringerung der Entwicklungszeit und Fehlerquote
- Schnelleres Onboarding neuer Datensätze und -quellen
- Hohe Code-Konsistenz
- Verarbeitung von Qualitätsdaten auf verschiedenen Ebenen im Data Lake
- Bessere Einblicke zur Verbesserung von Geschäftsprozessen