Virtusas vDataAid-lösning hjälper organisationer att accelerera utvecklingen av datamoderniseringsplattformen genom att implementera en konfigurerbar och metadatadriven lösning.
Lösningen täcker olika faser, inklusive dataintag, datavalidering och Slowly Changing Dimensions (SCD) databehandling. Den kombinerar flera dataramverk, såsom generisk datainmatning, datavalidering och SCD typ 1 och typ 2, som är lätta att konfigurera, anpassningsbara och distribuera för alla Microsoft Azure-plattformar.
vDataAid-lösningen är utvecklad med Azure Data Factory för datainmatning och Spark Notebook för datavalidering. Azure data integration pipeline är en generisk pipeline som används för datainmatning och validering som helt drivs av metadata.
Till exempel är det första steget med en datakällaskonfiguration att fånga inmatningsdetaljer som käll- och målsökvägar, objekt som ska matas in, etc., i förkonfigurerade metadatatabeller. Sedan använder vi den enda generiska pipelinen för intag, validering och transformationer (SCD) av alla objekt utan att skapa och underhålla flera pipelines.
Nyckelfunktioner
Säkerställa heltäckande och korrekt data med vDataAid
vDataAid är en lågkodslösning som granskar varje nivå i dataladdningsprocessen för att ge djupgående insikter och kontrollera pipelinebeteendet. Dess nyckelfunktioner inkluderar:
Datainsamling
- Tar in data från alla källor utan att skapa flera inmatningspipelines
- Tar in data från olika datakällor som RDBMS (Oracle, DB2, SAP, Teradata, etc.) och filer (Txt, CSV, Excel, Json, XML, etc.)
Revision
- Lagrar och hanterar statistik inklusive starttid, sluttid, batch och jobbstatus
- Fångar källan och målräkningen, datavalideringsräkningen och datavalideringssammanfattningen
Jobbkontroll och beroenden
- Förkontroller i batch/jobb innan du fortsätter med exekvering och möjliggör möjligheten att starta om funktionen för misslyckade jobb
- Underhåller metadata för jobben och beroenden
Jobb och objektslinje
- Underhåller jobb- och objektlinjen över flera datalager i en datasjö
Ramverk för datavalidering
- Integrerat, konfigurerbart och anpassningsbart ramverk för datavalidering för kvalitetskontroller som inte null, unikhet, minimum, maximum, är mellan, längd, medelvärde och median, textmatchningar, etc.
SCD-ramverk av Typ 1 och Typ 2
- Integrerade och konfigurerbara SCD-ramverk av Typ 1 och Typ 2 för att upprätthålla de mest uppdaterade data i datasjön
Felloggning och aviseringar
- Fångar upp fel vid varje aktivitet och loggar i granskningstabellerna
- Skickar felmeddelanden via e-post om fel i pipeline
Dashboards och rapporter för operativa insikter
- Använd verktyg som Power BI för att skapa instrumentpaneler och rapporter för ytterligare insikter
One-stop-lösning för sömlös dataintegration
vDataAid är en konfigurerbar och utbyggbar lösning med en plug-and-play-funktion för Azure som möjliggör problemfri dataintegration.
- Hög operativ effektivitet med 30-40 % minskad ansträngning på pipelineutveckling
- Minskad utvecklingstid och fel
- Snabbare introduktion av nya datamängder och källor
- Hög kodkonsistens
- Bearbeta kvalitetsdata över lager i datasjön
- Bättre insikter för att förbättra affärsprocesser