Lösningen täcker olika faser, inklusive dataintag, datavalidering och Slowly Changing Dimensions (SCD) databehandling. Den kombinerar flera dataramverk, såsom generisk datainmatning, datavalidering och SCD typ 1 och typ 2, som är lätta att konfigurera, anpassningsbara och distribuera för alla Microsoft Azure-plattformar.
vDataAid-lösningen är utvecklad med Azure Data Factory för datainmatning och Spark Notebook för datavalidering. Azure data integration pipeline är en generisk pipeline som används för datainmatning och validering som helt drivs av metadata.
Till exempel är det första steget med en datakällaskonfiguration att fånga inmatningsdetaljer som käll- och målsökvägar, objekt som ska matas in, etc., i förkonfigurerade metadatatabeller. Sedan använder vi den enda generiska pipelinen för intag, validering och transformationer (SCD) av alla objekt utan att skapa och underhålla flera pipelines.