historia de éxito

Cambio de paradigma en los marcos de integración de datos para una empresa líder mundial en electrónica de consumo

con el marco de integración de datos basado en metadatos de Virtusa en AWS mediante Talend

En los últimos tiempos, la industria de la electrónica de consumo se ha enfrentado al reto de mantener las múltiples integraciones de datos de diferentes fuentes en sus productos. Con una demanda de los clientes en constante cambio, ha sido necesario contar con un marco de integración de datos robusto que pueda ingerir datos de varias fuentes de datos y transformarlos como y cuando sea necesario. 

El desafío

Nuestro cliente, líder en este ámbito, tenía una arquitectura muy acoplada a las prestaciones de almacenamiento y computación.

Como resultado, todo el sistema se volvió costoso y con grandes problemas de rendimiento que eran difíciles de mantener. Esto dio lugar a muchos otros problemas, como la lenta adopción, la gran cantidad de capacidad no utilizada durante las horas de menor actividad, la capacidad de almacenamiento y los problemas de recuperación de desastres. Había una gran necesidad de aumentar el almacenamiento, lo que a su vez provocaría un aumento de los recursos informáticos, un retraso en la incorporación de nuevas aplicaciones y un retraso en el proceso y la canalización de datos.

 

La solución

Enfoque meticuloso de la integración de datos con el marco basado en metadatos de Virtusa.

En una solución típica/tradicional de ETL o almacén de datos, es necesario introducir los datos en el lago de datos desde varios sistemas de origen y limpiarlos antes de que puedan ser procesados por las aplicaciones posteriores. Además, en el contexto actual, la migración de datos de los sistemas locales a la nube es cada vez más popular.

Virtusa, como socio empresarial estratégico, inició el proceso con la migración del marco de adquisición de datos existente del cliente mediante técnicas de modernización de Hadoop en AWS. Además, utilizamos Talend para extraer, transformar y cargar (ETL) aprovechando las soluciones de marco de lago de datos sin servidor del cliente. 

Después de lo cual, originamos la idea de aprovechar el marco de integración de datos impulsado por metadatos y desarrollamos el esquema para ingerir datos de cualquier fuente de datos estructurados en cualquier destino mediante la adición de información de metadatos en un archivo/tabla de metadatos. Este marco puede ingerir datos de cualquier sistema de fuente de datos estructurados (RDBMS como Oracle, archivo local, extracciones de servidor FTP, etc.) y almacenar datos en cualquier destino (AWS S3, Azure ADLS, RDS, etc.). 

Este acelerador admite la evolución del esquema. Cualquier cambio en el esquema de cualquier fuente existente no tiene ningún impacto en el marco de la solución, reduciendo así la necesidad de cualquier cambio de código. Esto ahorrará tiempo de construcción y pruebas y mucho esfuerzo al reducir la necesidad de análisis de impacto de cualquier cambio de esquema.

 

Solución de marcos de integración de datos
La ventaja

Estandarización del proceso de ingestión e integración de datos con el marco de integración de datos basado en metadatos de Virtusa y almacenamiento de datos con AWS S3.

Con el marco basado en metadatos de Virtusa y el almacenamiento de datos con AWS S3, proporcionamos la capacidad de replicar y añadir nuevas fuentes de datos en menos tiempo. Todo el marco estaba en una capa de abstracción en la que es fácil definir/reutilizar mapeos, facilidad para definir diferentes fuentes y destinos de donde se supone que están los datos, y también definir/reutilizar eficazmente las reglas de transformación en la parte de metadatos del marco. Ayudamos al cliente con:

  • La computación y el almacenamiento desacoplados escalan de forma independiente
  • Despliegue de clústeres persistentes y transitorios
  • Facilidad de uso; aislamiento de la carga de trabajo; automatización
  • Elástico; con autoescalado incorporado
  • Rentable
  • Las cargas de trabajo se trasladan de lote a tiempo real con tiempos de ejecución mejorados ~30 minutos

En pocas palabras, el marco ETL basado en metadatos de Virtusa es un enfoque excelente para estandarizar los datos entrantes. Ayudó a simplificar un proceso complicado con el desarrollo de la velocidad en el lado ETL, proporcionando más flexibilidad durante el proceso de incorporación de diferentes fuentes de datos en un almacén de datos. El cliente puede replicar fácilmente el proceso sin tener que recrear algo totalmente único para cada esfuerzo de integración, o para cada nuevo conjunto de datos que deba integrarse.

Análisis, información estratégica y datos

Modernice sus plataformas de datos y aplique la IA/ML para redefinir y rediseñar los procesos de negocio, lo que le permitirá obtener una experiencia superior del cliente y una mayor productividad.

Más información Solicite una demostración
Contenido relacionado