lösning

vDataAid

Förenkla verksamhetens komplexitet för en bättre upplevelse

Organisationer prioriterar alltmer datamodernisering för att leverera handlingsbara insikter, API-drivna applikationsintegrationer och svara på en ständigt föränderlig affärsmiljö. Brist på återanvändbar och konfigurerbar kod, insikter i dataladdningsprocessen och mätvärden och integrerade datavalideringar gör data opålitliga för analys, vilket resulterar i ökad manuell ansträngning och fel under utvecklings-/underhållsfaserna.

Virtusas vDataAid-lösning hjälper organisationer att accelerera utvecklingen av datamoderniseringsplattformen genom att implementera en konfigurerbar och metadatadriven lösning.

Lösningen täcker olika faser, inklusive dataintag, datavalidering och Slowly Changing Dimensions (SCD) databehandling. Den kombinerar flera dataramverk, såsom generisk datainmatning, datavalidering och SCD typ 1 och typ 2, som är lätta att konfigurera, anpassningsbara och distribuera för alla Microsoft Azure-plattformar.

vDataAid-lösningen är utvecklad med Azure Data Factory för datainmatning och Spark Notebook för datavalidering. Azure data integration pipeline är en generisk pipeline som används för datainmatning och validering som helt drivs av metadata.

Till exempel är det första steget med en datakällaskonfiguration att fånga inmatningsdetaljer som käll- och målsökvägar, objekt som ska matas in, etc., i förkonfigurerade metadatatabeller. Sedan använder vi den enda generiska pipelinen för intag, validering och transformationer (SCD) av alla objekt utan att skapa och underhålla flera pipelines.

vDataAid - Datamoderniseringstjänster

Nyckelfunktioner

Säkerställa heltäckande och korrekt data med vDataAid

vDataAid är en lågkodslösning som granskar varje nivå i dataladdningsprocessen för att ge djupgående insikter och kontrollera pipelinebeteendet. Dess nyckelfunktioner inkluderar:  

Datainsamling

  • Tar in data från alla källor utan att skapa flera inmatningspipelines
  • Tar in data från olika datakällor som RDBMS (Oracle, DB2, SAP, Teradata, etc.) och filer (Txt, CSV, Excel, Json, XML, etc.)

 

Revision

  • Lagrar och hanterar statistik inklusive starttid, sluttid, batch och jobbstatus 
  • Fångar källan och målräkningen, datavalideringsräkningen och datavalideringssammanfattningen

Jobbkontroll och beroenden

  • Förkontroller i batch/jobb innan du fortsätter med exekvering och möjliggör möjligheten att starta om funktionen för misslyckade jobb
  • Underhåller metadata för jobben och beroenden

Jobb och objektslinje

  • Underhåller jobb- och objektlinjen över flera datalager i en datasjö

Ramverk för datavalidering

  • Integrerat, konfigurerbart och anpassningsbart ramverk för datavalidering för kvalitetskontroller som inte null, unikhet, minimum, maximum, är mellan, längd, medelvärde och median, textmatchningar, etc.

SCD-ramverk av Typ 1 och Typ 2

  • Integrerade och konfigurerbara SCD-ramverk av Typ 1 och Typ 2 för att upprätthålla de mest uppdaterade data i datasjön

Felloggning och aviseringar

  • Fångar upp fel vid varje aktivitet och loggar i granskningstabellerna
  • Skickar felmeddelanden via e-post om fel i pipeline

Dashboards och rapporter för operativa insikter

  • Använd verktyg som Power BI för att skapa instrumentpaneler och rapporter för ytterligare insikter  
vDataAid - Datamoderniseringstjänster
Nyckelfördelar

One-stop-lösning för sömlös dataintegration

vDataAid är en konfigurerbar och utbyggbar lösning med en plug-and-play-funktion för Azure som möjliggör problemfri dataintegration.

  • Hög operativ effektivitet med 30-40 % minskad ansträngning på pipelineutveckling
  • Minskad utvecklingstid och fel
  • Snabbare introduktion av nya datamängder och källor
  • Hög kodkonsistens
  • Bearbeta kvalitetsdata över lager i datasjön
  • Bättre insikter för att förbättra affärsprocesser

Prata med en expert

Kontakta oss för att boka en vDataAid-demo.

Contact Us