La solución vDataAid de Virtusa ayuda a las organizaciones a acelerar el desarrollo de la plataforma de modernización de datos mediante el despliegue de una solución configurable y basada en metadatos.
La solución cubre diferentes fases, incluyendo la ingestión de datos, la validación de datos y el procesamiento de datos de Slowly Changing Dimensions (SCD). Combina múltiples marcos de datos, como la ingestión de datos genéricos, la validación de datos y las SCD de tipo 1 y 2, que son fácilmente configurables, personalizables y desplegables para cualquier plataforma de Microsoft Azure.
La solución vDataAid se desarrolla utilizando Azure Data Factory para la ingestión de datos y Spark Notebook para la validación de datos. La tubería de integración de datos de Azure es una tubería genérica utilizada para la ingestión y la validación de datos que está completamente dirigida por metadatos.
Por ejemplo, el primer paso en la configuración de cualquier fuente de datos es capturar los detalles de la ingesta, como las rutas de origen y destino, los objetos que se van a ingerir, etc., en tablas de metadatos preconfiguradas. A continuación, utilizamos la única canalización genérica para la ingesta, la validación y las transformaciones (SCD) de todos los objetos sin necesidad de crear y mantener varias canalizaciones.
Funciones clave
Garantizar datos completos y precisos con vDataAid
vDataAid es una solución de bajo código que audita cada nivel en el proceso de carga de datos para proporcionar información en profundidad y controlar el comportamiento de la tubería. Sus características clave incluyen:
Ingestión de datos
- Ingesta de datos de todas las fuentes sin necesidad de crear múltiples canales de ingesta
- Ingesta de datos desde varias fuentes de datos como RDBMS (Oracle, DB2, SAP, Teradata, etc.) y archivos (Txt, CSV, Excel, Json, XML, etc.)
Auditoría
- Almacena y gestiona las estadísticas, incluyendo la hora de inicio, la hora de finalización, el lote y el estado de la tarea
- Captura el recuento de origen y destino, el recuento de validación de datos y el resumen de validación de datos
Control de trabajos y dependencias
- Precomprobación de los lotes/trabajos antes de proceder a su ejecución y habilitación de la función de reinicio para los trabajos fallidos
- Mantiene los metadatos de los trabajos y las dependencias
Linaje de trabajos y objetos
- Mantiene el linaje de trabajos y objetos a través de múltiples capas de datos en un lago de datos
Marco de validación de datos
- Marco de validación de datos integrado, configurable y personalizable para comprobaciones de calidad como no nulo, unicidad, mínimo, máximo, está entre, longitud, media y mediana, coincidencias de texto, etc.
Marco SCD Tipo 1 y Tipo 2
- Marco integrado y configurable de SCD Tipo 1 y Tipo 2 para mantener los datos más actualizados en el lago de datos
Registro de errores y notificaciones
- Captura errores en cada actividad y lo registra en las tablas de auditoría
- Envía correos electrónicos de notificación de errores en la canalización
Cuadros de mando e informes para obtener información operativa
- Utilice herramientas como Power BI para crear cuadros de mando e informes para obtener información adicional
Solución única para la integración de datos sin fisuras
vDataAid es una solución configurable y ampliable con una función plug-and-play para Azure que permite una integración de datos sin problemas.
- Alta eficiencia operativa con una reducción del 30-40 % del esfuerzo en el desarrollo de canalizaciones
- Reducción del tiempo de desarrollo y de los errores
- Incorporación más rápida de nuevos conjuntos y fuentes de datos
- Alta coherencia del código
- Procesamiento de datos de calidad en todas las capas del lago de datos
- Mejores conocimientos para mejorar el proceso empresarial