historia de éxito

Virtusa ayuda a un importante banco estadounidense a reestructurar su proceso de comprobación de la calidad de los datos con una automatización simplificada

El desafío

Nuestro cliente, un gran banco estadounidense, que también es una de las principales empresas de gestión de patrimonios y servicios de custodia, tenía un entorno de almacén de datos heredado con una calidad de datos deficiente. Cuando Virtusa se embarcó en la iniciativa de crear un almacén de datos en Snowflake para sustituir el antiguo por un nuevo modelo de datos, la creación y ejecución de controles de calidad de datos en el nuevo entorno se convirtió en un reto. 

La solución

Virtusa desarrolló e implementó pruebas de calidad de datos unitarias y de extremo a extremo para Snowflake utilizando la comprobación de la calidad de los datos de Virtusa y Great Expectations. Los equipos de TI y Virtusa desarrollaron conjuntamente los casos de prueba, Virtusa creó las suites de prueba y el Banco verificó las ejecuciones. Las pruebas se automatizaron y orquestaron utilizando Apache Airflow, que define visualmente los horarios y las dependencias de los trabajos en un gráfico dirigido.

Los procesos de datos racionalizados incluyen:

  • Creación de más de un millar de pruebas unitarias de caja blanca para garantizar que el movimiento de los datos (de los locales a los brutos) y las etapas posteriores de la canalización, incluidas las transformaciones complejas, fueran precisas y completas.
  • Simplificación de la implementación heredada para la comprobación de la calidad de los datos
  • Automatización para probar las suites completas cada noche, incluyendo archivos específicos o áreas temáticas que pueden haber cambiado durante el desarrollo.   
  • Personalización de los parámetros de las pruebas en función de las variables ambientales 
Proceso de comprobación de la calidad de los datos con una automatización simplificada
El resultado

Con la ayuda de Virtusa, el cliente pudo llevar a cabo todas las comprobaciones de datos necesarias y aumentar los niveles de productividad preservando los recursos. Utilizando la metodología "test-first" requerida por el cliente, creamos un equipo de testers de 3 miembros para colaborar con el equipo de TI del banco y definir los casos de prueba. A continuación, trabajamos con un equipo de desarrollo de 15 personas de Virtusa para implementar todas las pruebas unitarias. A medida que el proceso avanzaba, el equipo también implementó pruebas de extremo a extremo en la zona del consumidor en Snowflake para comprobar estados como los saldos de las cuentas. 

Como resultado, el cliente pudo: 

  • Utilizar con éxito la ingesta de almacenes y el desarrollo de canales de datos de Virtusa en muchas condiciones y variaciones de datos.
  • Lograr la automatización de las pruebas y la programación utilizando tanto la línea de comandos como Airflow.
  • Establecer una calidad de datos clara, coherente y precisa, sin costes de licencia.
Solución de marco de comprobación de la calidad de los datos (DQC)

Conozca cómo la solución Data Quality Checks Framework de Virtusa puede transformar y automatizar la forma en que su empresa realiza las comprobaciones de calidad de datos. 

Más información
Contenido relacionado