NOTICIAS

Data matching es lo que llamamos “emparejamiento de datos”, es decir, la comparación y búsqueda de coincidencias y disidencias entre datos que pueden venir de diferentes bases. El problema que trata de resolver es saber si dos “entidades” son, de hecho, la misma “entidad”.

Hay muchas formas de realizar la comparación de datos. A menudo, el proceso se basa en un algoritmo de coincidencia de datos o un ciclo programado, donde cada pieza del conjunto de datos se identifica y se compara con cada pieza del otro conjunto de datos.

¿Por qué hay que lograr la coincidencia de datos?

La coincidencia de datos puede servir para muchos propósitos. Por ejemplo, es una forma de evitar contenido duplicado. También es útil en diferentes tipos de minería de datos. La coincidencia de datos también puede servir para identificar vínculos entre dos conjuntos de datos y para validar que un dato es correcto.

¿Qué tipo de datos? Los mas habituales son transacciones,  productos, pagos, compras,  clientes, precios, rendimiento, fórmulas, componentes, inventario y muchos otros. Este tipo de procedimiento ofrece muchas ventajas para la validación y posterior remediación de los datos erróneos,  automatización de procesos manuales, análisis de mercado de productos, detección de faltantes, inteligencia de ventas y muchos más de acuerdo al caso.

Según Width, las empresas con flujos de trabajo de datos deficientes pierden alrededor del 12 % de sus ingresos debido a la calidad de los datos.

¿En qué se usa?

Todas las industrias y sectores pueden realizar estos procesos en diferentes áreas. Algunas de ellas son:

Finanzas y auditorias: Permite comparar operaciones de ventas, por ejemplo, con los cobros provenientes de los distintos medios de pago y de esta forma corroborar que lo que vendemos está reflejado en los ingresos.

Comercio electrónico: Un caso de uso cotidiano son las plataformas que comparan precios. Utilizan la coincidencia de datos para localizar productos idénticos de diferentes tiendas, incluso si no tienen la misma descripción.

Datos de clientes: Este procedimiento puede ayudar a limpiar las bases de datos, eliminar duplicados y datos sucios, y entender si un cliente es el mismo o algunos de sus datos han cambiado.

Farmaceutica y laboratorios: Pueden combinar registros de diferentes formulas o componentes para detectar elementos coincidentes y discrepantes.

Recursos humanos: Se suele utilizar para comparar legajos con nóminas y verificar mensualmente que lo ejecutado coincida con lo acordado para cada colaborador.

A nivel general, actualmente todas las industrias manejan volúmenes constantemente crecientes y de datos de todo tipo, y trabajar sin verificar ni controlar esas operaciones, puede representar un riesgo importante en diversos escenarios. Por el contrario, realizar dichas validaciones de datos aporta un ahorro considerable en tiempos y costos en todos los casos.

Beneficios

Al manejar grandes cantidades de datos, el Data Matching permite realizar búsquedas más precisas y analizar datos a un nivel más avanzado y con resultados más confiables y validados.

También facilita la comparación de datos, la identificación de patrones y el hallazgo de irregularidades.

Además, es necesario para proceder a la migración de datos entre distintos sistemas o plataformas.

Data matching automatizado

El registro de coincidencia de datos se puede realizar de manera automatizada utilizando herramientas basadas en algoritmos y machine learning, como Conciliac EDM.

Antiguamente se usaban enfoques basados ​​en reglas y la comparación aproximada. Pero en la actualidad plataformas como Conciliac brindan mayor exactitud y posibilidades amplias de manejo de los datos.

Con el machine learning se tiene una poderosa arquitectura que aprovecha las capacidades de aprendizaje de los algoritmos, como el procesamiento del lenguaje la inferencias de texto, o las coincidencias múltiples (de un registro contra muchos) y brinda flexibilidad en algunas categorías clave.

Por ejemplo, se puede ajustar para un uso específico. Así se redefine qué es una coincidencia en función de la necesidad para una amplia gama de tipos de datos, números enteros largos, descripciones de productos, números SSN y muchos otros.

El machine learning, además, realiza una relación más profunda entre los datos, más allá de lo que puede considerarse una coincidencia en una instancia específica. Y le permite utilizarla con un mayor nivel de precisión. Además, se detectan los casos extremos o los falsos positivos.

Otra ventaja central es que se deben realizar menos ajustes a lo largo del ciclo de vida del producto y la transición de su modelo a nuevos datos es más fácil.

Como funciona el Data match de Conciliac

La plataforma de gestión integral de datos Conciliac EDM, cuenta con un potente módulo de Data Match que automatiza estos procesos de una manera efectiva y flexible. La operación básica que realiza es individualizar datos de más de una fuente y buscar sus pares iguales a partir de criterios múltiples, de lo más general a lo más específico.

Usualmente los usuarios utilizan esta funcionalidad para conciliar datos como por ejemplo de bancos, tarjetas de crédito, stock, ventas, clientes, nóminas, formulas, y operaciones de todo tipo. El uso es muy simple y no requiere de conocimientos técnicos, tan solo con aplicar los propios criterios que una persona utilizaría para hacer estas coincidencias, es suficiente para reflejar esos mismos criterios en la plataforma. Con un par de clics podemos clasificar los tipos de datos e indicarle a Conciliac lo que nosotros consideramos como claves importantes para el cruce, por ejemplo: fechas, importes, descripción, e-mails, direcciones, entre otros. Todo este análisis y parametrización, se le “enseña” a la plataforma la primera vez que hacemos un cruce de dos fuentes. Luego estos criterios quedan guardados en un set de reglas que se aplicará automáticamente cada vez que importemos el mismo tipo de fuente.

Complementariamente, es posible eliminar duplicados, aplicar filtros, realizar búsquedas y reemplazos, aplicar coeficiente o formulas a registros complejos y demás funcionalidades prácticas de una planilla de cálculo. La plataforma cuenta también con funciones inteligentes como:

-Un potente algoritmo de inferencia de texto que permite encontrar términos similares, pero no iguales.

-Registros múltiples: puede buscar un registro de una fuente y hacerlo coincidir contra varios agrupados en otra fuente.

-Puede registrar equivalencias e ir creando un diccionario que interpretara en las próximas ejecuciones.

Estas son solo algunas de las principales características de una herramienta que permite automatizar un proceso de matching o conciliación de miles o incluso millones de datos en minutos, algo que de forma manual conllevarían horas, días o incluso se vuelve impracticable.

Si quieres entender como una herramienta como esta puede ayudar en tu organización, contacta con nosotros.