Usec Network Magazine
Fujitsu Laboratories of Europe ha desarrollado una tecnología innovadora basada en IA que supera los desafíos tradicionales de la reconciliación de conjuntos de datos, aplicando la carga dinámica de datos (DDL) para automatizar el complejo procesamiento de conocimiento. La tecnología de Fujitsu simplifica significativamente el proceso de reconciliación e integración de datos, cargando datos dinámicamente durante el proceso de ejecución, utilizando IA y una arquitectura basada en microservicios, para crear una plataforma totalmente escalable e inteligente.
La multinacional se ha enfocado en resolver los problemas asociados con el análisis de grandes volúmenes de datos de manera fiable, precisa y rápida en el ámbito financiero. La tecnología de reconciliación de Fujitsu es única en la combinación de características avanzadas utilizadas para la composición de información. La principal innovación radica en los métodos de reconocimiento de tipo de entidad y de dominio que utilizan la base de conocimiento del sistema para recomendar a los mejores candidatos. El reconocimiento de dominio proporciona un buen contexto para el usuario y para el propio sistema que facilita el proceso de reconciliación. Otra innovación consiste en ofrecer el uso de IA para automatizar tareas, con el sistema aprendiendo de las decisiones y comentarios de los usuarios, lo que resulta una experiencia progresivamente más personalizada, junto con un alto nivel de automatización para tareas simples y repetitivas. La tecnología se basa en la técnica de reconciliación de Fujitsu y en la orquestación de microservicios, transformando la práctica de reconciliación de datos de gran volumen para cualquier aplicación.
El Dr. Adel Rouz, CEO de Fujitsu Laboratories of Europe, explica: “Tenemos una amplia experiencia de co-creación, particularmente como resultado de proyectos de aprendizaje profundo e Inteligencia Artificial en el sector de servicios financieros, y la hemos aplicado al desarrollo de un nuevo modelo innovador de carga dinámica de datos complejos. Nuestro enfoque basado en la IA abre nuevos caminos en términos del análisis escalable, preciso e inteligente de grandes volúmenes de datos. Hemos combinado estos tres ingredientes esenciales: un potente mecanismo de reconciliación de datos, con tecnologías de análisis avanzado y flexible, respaldado por un asistente virtual interactivo. Nuestra aplicación inicial incluye una plataforma para las autoridades reguladoras, con vistas a aplicaciones futuras en cualquier industria que maneje volúmenes de datos masivos, como el sector financiero, salud, retail y manufacturing. Es un desarrollo emocionante y estamos convencidos de que tiene un gran potencial de futuro, por ejemplo, siendo aplicado para identificar las relaciones transfronterizas, mediante la integración de conjuntos de datos abiertos de todo el mundo.”
El nuevo enfoque de Fujitsu aplica una novedosa metodología para la vinculación de registros, utilizando la base de conocimiento del sistema para un mejor reconocimiento del tipo de entidad y del dominio. Por ejemplo, usa tipos de vinculación como empresa y empresa, o empresa y persona. En la mayoría de los casos, el conjunto de datos entrante carece de descripciones de propiedad de los datos o cualquier referencia a vocabularios / ontologías estándar. Por lo tanto, la persona a cargo de la integración de datos tiene que adivinar la meta-información relevante (por ejemplo, el significado de los nombres de propiedad) o preguntar al proveedor de datos. Con la tecnología de Fujitsu, el conjunto de datos se contextualiza, con una pequeña aportación del usuario. Además, la capacidad del sistema para aprender de las acciones del usuario es una característica importante. En la tecnología de reconciliación de Fujitsu, aprender de las decisiones de los usuarios y de sus opiniones da como resultado una experiencia más personalizada y un alto nivel de automatización para tareas simples y repetitivas.
El flujo de trabajo se divide en cuatro módulos principales:
- 1. Reconciliación de Propiedad de Datos.
- 2. Reconciliación de Dominio y Tipo de Entidad.
- 3. Desambiguación de Entidades.
- 4. Almacenamiento en la Base de Conocimiento.
Durante el período de pruebas de un mes, los tiempos de reconciliación y de carga de datos se redujeron significativamente, de la duración anterior de un mes a la actual de una semana. Es importante destacar que el proceso de reconciliación de un conjunto de datos financieros produce un grafo de conocimiento (knowledge graph) que se puede utilizar para futuras tareas de reconciliación.
