Post on 22-Jul-2015
transcript
Comprendiendo qué es la calidad de datos e implantando un entorno de datos limpio y controlado.
Guía para empresas
Sigma Data Services - www.datoslimpios.es
Una cuestión incómoda
La mayoría de empresas y administraciones públicas saben que existe un problema con los datos, pero generalmente lo ignoran.
Sigma Data Services - www.datoslimpios.es
Resumiendo:
La calidad de datos realmente importa a muy pocas empresas.
Veamos porqué y si merece la pena hacer algo más por los datos o no.
Sigma Data Services - www.datoslimpios.es
Algunos ejemplos de porqué controlar la calidad de las cosas es importante para las empresas y también para la sociedad…
Sigma Data Services - www.datoslimpios.es
Si sabes que tus datos son uno de los activos más importantes de tu negocio, entonces…
¿De qué sirven tantos sistemas informáticos y tanta inversión si no te preocupas por los datos?
Sigma Data Services - www.datoslimpios.es
¿Es importante para tu negocio?
Si te dijera que tus bases de datos tienen …
30% de datos personales de clientes incorrectos o inexistentes
20% de direcciones postales incorrectas
15% de teléfonos incorrectos
7% de clientes duplicados
5% de e-mails incorrectos
… ¿es importante para tu negocio?
Sigma Data Services - www.datoslimpios.es
Hay algo más:
El problema no sólo es tener los datos así (de mal), sino no saber qué datos están afectados, porqué y desde cuándo.
(Por cierto los costes de la no calidad de datos suelen estar sobre el 5% de los ingresos de una entidad)
Sigma Data Services - www.datoslimpios.es
Qué organizaciones están más afectadas
Todas sufren sus consecuencias en mayor o menor medida, aunque la no calidad impacta más sobre ciertos sectores:
Empresas con cientos de miles o millones de clientes particulares con pequeño valor
Con miles de clientes de alto valor
Con gran actividad y control de la relación
Con gran actividad de marketing directo o de comunicación
Administraciones públicas
Sigma Data Services - www.datoslimpios.es
¿Cuál es el coste de la no calidad?
¿Cuánto gasta en servidores?
¿Y en desarrollar aplicaciones?
¿Y en licencias de productos?
¿Y en mantener la base de datos?
¿Y en desarrollar interfaces?
¿Y en acceso a Internet?
¿Y en marketing relacional?
¿Y en atención al cliente?
¿Y en actividad comercial?
La no calidad de datos cuesta entre el 15% - 20%de estos capítulos. Es decir, mucho.
Comprendiendo el alcance del problema
Sigma Data Services - www.datoslimpios.es
¿Qué es la no calidad de los datos?
Es la degradación continua de los datos identificativos y de contacto de personas físicas y jurídicas:
• Clientes y potenciales
• Empleados y candidatos
• Proveedores
• Ciudadanos,
• Suscriptores
• …
Sigma Data Services - www.datoslimpios.es
Sigma Data Services - www.datoslimpios.es
¿Qué es la calidad de datos?
Es un conjunto de metodologías, actividades, técnicas y productos destinados a reducir la no calidad de los datos.
Objetivo:
Mantener los datos en el mejor estado posible: Datos correctos, sin errores
Datos actualizados, de forma continua
Datos únicos, sin duplicidades
Datos controlados, conociendo el porqué de su situación
Sigma Data Services - www.datoslimpios.es
Datos básicos a tratar
Los datos básicos de personas (individuales o empresas) son los que nos permiten identificar unívocamente una persona y contactarla por correo postal, electrónico, teléfono y SMS:
Nombre, 2 apellidos
Nombre de empresa
Sexo / Empresa
DNI, NIF, CIF, Nº Tarjeta residencia, Nº Pasaporte
Dirección postal
Dirección electrónica
Teléfono fijo, teléfono móvil
Sigma Data Services - www.datoslimpios.es
Ficha estándar de datos
La ficha estándar de datos no aporta ninguna información precisa sobre validez, actualización y origen de cada dato.
Nombre Fernando Jurado Úbeda
Dirección P. Casal 10 1D (Urb. Quinta de Goya)
Código Postal No consta
Localidad Madrid
DNI 50.159.894-X
Teléfono 1 91 526 570
Teléfono 2 647 937 259
E-mail fjurado@sigma
Sigma Data Services - www.datoslimpios.es
Ficha de datos normalizada y controladaCampo Valor Estado Fecha alta Fecha revisión Origen
Nombre Fernando Encontrado 05-01-2008 10-02-2009 Bd_clientes_01
Apellido_1 Jurado Encontrado 05-01-2008 10-02-2009 Bd_clientes_01
Apellido_2 Úbeda Encontrado 05-01-2008 10-02-2009 Bd_clientes_01
Sexo Varón Asignado 22-03-2009 22-03-2009 Sigma_GeoCal_01
NIF 50159894X Inválido 05-01-2008 10-02-2009 Sigma_Norma_01
Tipo_via Calle Asignado 22-03-2009 22-03-2009 Sigma_GeoCal_01
Denom_via Pablo Casals Encontrado 05-01-2008 10-02-2009 Bd_clientes_01
Cod_via 2812334400-100 Asignado 22-03-2009 22-03-2009 Sigma_GeoCal_01
Numero 10 Encontrado 05-01-2008 10-02-2009 Sigma_GeoCal_01
Piso_puerta 1ºD Separado 05-01-2008 22-03-2009 Bd_clientes_01
Resto_dir Urbanización Quinta de Goya Separado 05-01-2008 22-03-2009 Bd_clientes_01
Cp 28011 Asignado 22-03-2009 22-03-2009 Sigma_GeoCal_01
Localidad Madrid Encontrado 05-01-2008 22-03-2009 Bd_clientes_01
Municipio Madrid Asignado 22-03-2009 22-03-2009 Sigma_GeoCal_01
Provincia Madrid Asignado 22-03-2009 22-03-2009 Sigma_GeoCal_01
Tel_fijo 91526570 Inválido 05-01-2008 22-03-2009 Sigma_Norma_01
Tel_movil 647937259 Válido 05-01-2008 22-03-2009 Sigma_Norma_01
Email <deleted> Inválido 05-01-2008 01-04-2009 Sigma_Norma_01
Duplicados 3 --- --- 01-04-2009 Sigma_Norma_01
Sigma Data Services - www.datoslimpios.es
Qué ventajas aporta la calidad de datos
Para la dirección: Información precisa en todo momento para
toma de decisiones
Análisis e informes confiables, a tiempo
Para equipo técnico: Control sobre los contenidos de los datos
Aumenta su productividad de forma exponencial
Para clientes, empleados, ciudadanos: Comunicaciones libres de error
Servicio de alto nivel
Para la empresa en su conjunto: Enormes ahorros de costes
Sigma Data Services - www.datoslimpios.es
Entorno de datos limpio y controlado
=
Control + Ahorro
(saber qué, cuáles, porqué y cuánto)
Porqué las empresas no lograneliminar la no calidad de datos por sí solas
Sigma Data Services - www.datoslimpios.es
Mito Nº 1
“Nuestros informáticos
pueden hacerlo”
Reconózcalo ya:
sus informáticos no poseen la experiencia ni los recursos para hacerlo correctamente;
¡Están dedicados a los sistemas de nóminas y ventas!
Sigma Data Services - www.datoslimpios.es
Mito Nº 2
“Tenemos los mejores sistemas
informáticos del mercado”
¡Estamos hablando de datos, no de sistemas!
Sigma Data Services - www.datoslimpios.es
Mito Nº 3
“Los datos están bien,
los limpiamos hace tres años”
¿Sus datos están realmente bien? ¿Cómo lo sabe?
¿Su oficina sólo la limpia cada tres años?
¿Cuándo fue la última vez que auditó sus datos?
¿Cuántos clientes tiene (exactamente)?
Sigma Data Services - www.datoslimpios.es
Mito Nº 4
“Es demasiado caro”
Respuesta incorrecta:
la calidad de datos se paga por sí misma,desde el primer día.
En realidad es una gran inversión a corto, medio y largo plazo
Sigma Data Services - www.datoslimpios.es
Mito Nº 5
“Es demasiado complejo”
Respuesta correcta:
Déjelo en manos de verdaderos especialistas: Poseen las herramientas y el conocimiento para auditar sus
datos y proponer un plan de calidad continuo
Sigma Data Services - www.datoslimpios.es
Mito Nº 6
“Nuestro ERP y CRM ya incluye calidad de datos”
SAP, Navision, Siebel, … efectivamente incluyen sistemas de calidad de datos, pero por desgracia son sistemas pensados para datos USA, UK, … y sólo incluyen calidad instantánea.
Exija un sistema de calidad de datos totalmente adaptado a España, que pueda convivir fácilmente con
sus sistemas y que permita un plan continuado
Por dónde empezar
Sigma Data Services - www.datoslimpios.es
Sus datos son su principal activo. Dedique el tiempo que merecen.
Sigma Data Services - www.datoslimpios.es
Por dónde empezar
1. Identifique dónde están los datos de personas
2. Seleccione los campos a tratar
3. Identifique los procesos y aplicaciones que actualizan datos
4. Identifique los diferentes departamentos y usuarios que utilizan estos datos y qué hacen con ellos
5. Trace un plan: Audite la calidad de las bases de datos inicialmente
Limpieza inicial masiva
Fusión de bases de datos
Adapte y mejore los procesos
Auditorías periódicas de datos y scorecard
Sigma Data Services - www.datoslimpios.es
El Ciclo de la Calidad de Datos
AuditarLimpiar
FusionarAdaptar
Sigma Data Services - www.datoslimpios.es
Elija un verdadero especialista local
Existen soluciones que prometen calidad de datos, pero sólo unas pocas están diseñadas para la realidad de los datos españoles:
• Nombres compuestos, abreviaturas
• Dos apellidos, acentos• Patronímicos español
y latinoamericanos• Particularidades idiomáticas:
cuatro lenguas cooficiales, sintaxis múltiple
• Particularidades de vías, abreviaturas, nombres antiguos
• No hay una única base de calles (Correos, INE)
• Códigos postales demasiado amplios• …
Sigma Data Services - www.datoslimpios.es
La diferencia entre soluciones está en:
Cómo resuelven técnicamente las particularidades españolas El conocimiento de la realidad española: INE, Correos, etc. La estrategia de búsqueda y comparación El grado de calidad de los resultados: no es lo mismo el 85%
que el 99% La arquitectura técnica del sistema: entornos sobre los que
corre, niveles de integración, interoperabilidad, base de datos El precio: el coste debe multiplicar los ahorros
Servicios y Soluciones Avanzadas de Calidad de Datos
Sigma Data Services - www.datoslimpios.es
sigmadq
Es una Plataforma de Herramientas y Servicios de calidad de datos.
• Multiplataforma
• Diferentes niveles de integración
• Capas independientes
• Productos software o servicios
Motores: validación; normalización; deduplicación
Capa de negocio: captura, interface
s
GUI
Sigma Data Services - www.datoslimpios.es
sigmadq · características
Tecnología avanzada
• Diseñado y desarrollado desde cero
• Java EE -Multiplataforma
• Independiente de la capa de negocio
• Aprendizaje inteligente
• Combina varias técnicas de comparación
Mejores resultados
• Adaptado 100% a las particularidades españolas
• Alta precisión en resultados
• Velocidad de proceso
• Mejor relación calidad / precio
Flexibilidad
• Preparado para integrarse en cualquier entorno y aplicación
• No requiere hardware especial
• Tecnología propia
• Flexibilidad ante cambios
Sigma Data Services - www.datoslimpios.es
sigmadq · productos
sigma profiler
Auditoría y validación Cuadro de mandos
sigma normalizator
Corrección Normalización y georeferenciación Deduplicación
sigma data government
Master Data Management
sigma mailer screener
Solución de filtrado para mailings masivos
Sigma Data Services - www.datoslimpios.es
Portal de servicios de calidad de datos
Todas nuestras soluciones están
disponibles como servicios en:
www.datoslimpios.es
El Portal de Servicios de Calidad de Datos
Sigma Data Services - www.datoslimpios.es
Contacto
SIGMA DATA SERVICES S.L.
Av. M-40, Nº 19 Oficina 5
28925 Alcorcón · Madrid · España
Tel.: 91 485 53 06
Fax: 91 485 53 09
info@sigma-data.com
www.sigma-data.com
Contacto comercial
Fernando Jurado
Tel.: (+34) 647 937 259
E-mail: fjurado@sigma-data.com