Date post: | 03-Jan-2016 |
Category: |
Documents |
Upload: | larissa-daniel |
View: | 48 times |
Download: | 3 times |
Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos en la región de América Latina y el Caribe
A – Introducción
2Eurostat Unit A6 – Statistical cooperationSDMX Seminar
A.2 – Por qué SDMX – importancia de SDMX
3Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Statistical Data and Metadata eXchange
World BankUNSDUNSD
SDMXISO TS 17369
4Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Falta de estandarización en intercambios de datos o entre organizacionesFalta de estandarización en intercambios de datos o entre organizaciones
Diferentes formatos de
Datos y metadatos
Diferentes formatos de
Datos y metadatos
EDIFACT
Ficheros Estructurados
XML
Formato papel
Diferentes lugares para almacenar datos y metadatosDiferentes lugares para almacenar datos y metadatos
Diferentes mediosDiferentes medios
Correo electrónico
Subida de ficheros
Formato Web
Medios extraíbles
Teléfono
Papel
¿Por qué SDMX?
5Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Esto es lo que SDMX proporciona y habilita
Qué es SDMX
Un modelo para describir datos y metadatos estadísticos
Un estándar para la comunicación automática de máquina a máquina
Una tecnología que soporta herramientas de TI estandarizadas.
Con el fin de sacar partido a lo siguiente:
Los estadísticos coinciden en el uso de una descripción común de datos y metadatos
El proceso de intercambio de datos es manejado por la descripción común
Las descripciones de datos se ponen a disposición de todo el que quiera entender y reutilizar los datos
6Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Versión 1.0 GESMES/TS
Versión 2.0SDMX-EDISDMX-MLRegistro SDMX
En 2008SDMX se acepta a nivel de Naciones
Unidas
ISO/TS 17369
Septiembre 2004
Versión 1.0
Versión 2.0
Febrero 2008
Se reconoce y soporta SDMX como estándar preferido
SDMX 2.1
Abril 2011 Noviembre 2005
¿De la versión 1.0 a la versión 2.1 hasta…?
7Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Todos los buenos estándares cambian…
Todos los estándares cambian con el tiempo, y se lanzan como una serie de versiones
Los cambios siempre tienen cierto impacto en los usuarios
– No siempre se espera que los usuarios usen la última versión de un estándar
– Las organizaciones estándar (como SDMX) tienen que proporcionar soporte para varias versiones del estándar, todas las que estén en uso
8Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Cambio en la gestión
Peligro (1): demasiados cambios pueden disuadir su adopción
Peligro (2): el no dar a los usuarios las funcionalidades que quieren desalentará su adopción
Se necesita encontrar un equilibrio
9Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Algunos beneficios de los estándares SDMX
SDMX proporciona soporte para cosas que son esenciales para los estadísticos, pero que a menudo les resultan difíciles de lograr
Un estándar internacional para agrupar todos los elementos involucrados en el proceso estadístico dentro de un modelo de información claro
Un enfoque que maximiza la cantidad de información sobre el contexto estadístico que se puede entregar a los usuarios, y la capacidad de enlazar estadísticas entre fuentes similares o diferentes
La automatización de procesos: SDMX permite el desarrollo de herramientas comunes que pueden usarse por todas las organizaciones estadísticas para mejorar sus actividades
10Eurostat Unit A6 – Statistical cooperationSDMX Seminar
“SDMX Reference Infrastructure”
“SDMX Reference Infrastructure”
Organización Estadística
Organización EstadísticaLos servicios web permiten la consulta, visualización y carga automática de datos y metadatos. Las herramientas SDMX permiten consultar una base de datos, o un sistema de ficheros, para la creación de tablas, cuadros, y gráficos a partir de los resultados de la consulta
SDMX es también un estándar avanzado para el descubrimiento de datos con el uso de servicios basados en web
Beneficios de los estándares SDMX (2)
11Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Producción / procesamiento de datos: lo que SDMX puede mejorar
Estándar internacional:- Evita la duplicación de esfuerzos en el desarrollo y mantenimiento de herramientas de TI- Crea un fondo común de habilidades y recursos (comunidad de desarrolladores)
Estandariza la estructura de conjuntos de datos y el formato de transmisión- Se reemplazan formatos heterogéneos por uno estándar- Las nuevas recopilaciones de datos comienzan con una estructura estandarizada
Validación de datos- SDMX permite detectar las inconsistencias de una estructura de datos en un estadio temprano del procesamiento
Aumento de la eficiencia- Más tiempo para el análisis de datos y comprobaciones de la calidad de datos
12Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Por qué SDMX - Resumen
El intercambio y difusión de datos estadísticos es complejo, caro, y consume recursos intensamente
Los mismos datos se almacenan en múltiples ubicaciones Los datos y metadatos a menudo no son reutilizables durante
la recopilación, compilación, análisis, transmisión, difusión Varias organizaciones internacionales tienen estándares
técnicos en propiedad para el intercambio de datos con sus constituyentes
Los estándares combinan problemas específicos de “contenido” con soluciones técnicas
Los estándares múltiples provocan una carga adicional de informes
Transición de una transmisión punto a punto a una red mundial (XML, servicios web)
13Eurostat Unit A6 – Statistical cooperationSDMX Seminar
A.3 – Implementación del sistema de intercambio de datos
14Eurostat Unit A6 – Statistical cooperationSDMX Seminar
A.4 – Elementos básicos SDMX
15Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Especificaciones Técnicas
El Modelo de Información SDMX
Guías para la armonización de
contenido
Guías orientadas al contenido (COG)
Herramientas
Arquitecturas de TI para el intercambio de datos
Herramientas basadas en SDMX
Los componentes SDMX
16Eurostat Unit A6 – Statistical cooperationSDMX Seminar
¿Quién?
¿Qué?
¿Cuándo?¿Quién?
¿Dónde?¿Cómo?
¿Qué?
Descripción del intercambio de datos
17Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Modelo de Información SDMX (“metamodelo”)
Estructura de
Conjunto de
Datos
Estructura de
Conjunto de
Datos
DatosDatos
Metadatos
Estructurales
Metadatos
Estructurales
Definición de Estructura de Datos (DSD) Dimensiones
(ej: país, variable/tema, año)
Dimensiones
(ej: país, variable/tema, año)
Atributos
(ej: unidad de medida)
Atributos
(ej: unidad de medida)
Listas de códigosListas de códigos
Metadatos sobre un valor individual, una serie temporal o un grupo de series temporales
Metadatos sobre un valor individual, una serie temporal o un grupo de series temporales
Proporciona una forma de modelar datos, metadatos y procesos de intercambio
Identifican/Describen
18Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Guías orientadas al contenido
Listas de códigos y conceptos de dominio transversalesListas de códigos y conceptos de dominio transversales
Dominios de temas estadísticosDominios de temas estadísticos
Vocabulario común de metadatosVocabulario común de metadatos
Recomendaciones para armonizar las implementaciones
Organización 1 Organización 2 Organización 3
interoperabilidad interoperabilidad
19Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Listas de código y conceptos de dominio transversal
Dominio 1
FREC
REF. AREA
Dominio 2
Conjunto de conceptos usados
Conceptos de dominio transversal
COMPARABILIDAD
20Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Vocabulario común de metadatos
21Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Dominios de temas estadísticosBasados en la Clasificación de Actividades Estadísticas Internacionales de la
Comisión Económica de las Naciones Unidas para Europa (UNECE)
22Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Uso de conceptos de dominio transversal
23Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Definición de Estructura de Datos: uso de concepto
Unidad Múltiplo
Unidad
Tema
Tiempo/Frecuencia
PaísExistencias/Flujo
Observación
(Dimensión)(Dimensión)
(Dimensión)
(Atributo)
(Dimensión)
(Dimensión)
(Atributo)
(Medida)
24Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Definición de Estructura de Datos:definición de estructuras multi-
dimensionales
Comprende– Concepts que identifica al valor de observación– Concepts que añaden metadatos adicionales sobre el
valor de observación– Concept que es el valor de observación– Cualquiera de estos pueden ser:
• codificados• texto• fecha/tiempo• número• etc.
DimensiónesAtributos
Medida
Representación
25Eurostat Unit A6 – Statistical cooperationSDMX Seminar
A finales de junio
Esquema de organización
Conceptos
Listas de códigos
Esquemas de conceptos
Acuerdo de provisión
DSD
mantenedor Registro SDMX
SDMX describe el intercambio de datos y metadatos
26Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Arquitectura del repositorio de datos (Almacén de datos)
NSI
Demandante “Pull” de Eurostat
eDAMIS
Entrada de Datos
Registro SDMX
Almacén intermedio
Verificación /Conversión
a SDMX
Datos recibidosen
SDMX-MLCargador
registro
Reservas en almacén
Eurobase
consulta
Difusión
XSL paraSDMX-ML
PULL
PUSH
27Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Los componentes
Data warehouse
Data warehouse
Data warehouse
SDMX-RI
(web service)
SDMX-RI
(web service)
SDMX-RI
(web service)
Data Hub
Data Providing Organizations Data collector Organizations Users
messagesSDMX
Data warehouse
Data warehouse
Data warehouse
SDMX-RI
(web service)
SDMX-RI
(web service)
SDMX-RI
(web service)
SDMX-RI
(web service)
SDMX-RI
(web service)
SDMX-RI
(web service)
Data Hub
Data Providing Organizations Data collector Organizations Users
messagesSDMX
28Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Progreso del SDMX, 2011 hasta 2015
Desarrollo de estándares: Abril 2011, estándares técnicos SDMX 2.1 lanzados en sdmx.org
Difusión: Mayo 2011, SDMX Global Conference
Se pueden obtener ocho tutoriales de e-learning de la plataforma CIRCA
Gobernabilidad: Creación de dos Grupos de Trabajo SDMX Working Groups (Grupo de Trabajo Técnico y Grupo de Trabajo Estadístico)
Plan de Acción 2011 hasta 2015
29Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Cómo saber más acerca de SDMX
30Eurostat Unit A6 – Statistical cooperationSDMX Seminar
http://sdmx.org/
31Eurostat Unit A6 – Statistical cooperationSDMX Seminar
http://epp.eurostat.ec.europa.eu/portal/page/portal/pgp_ess/news/ess_news_detail?id=112774074&pg_id=2417&cc=ESTAT_EUROSTAT
https://webgate.ec.europa.eu/fpfis/mwikis/sdmx
33Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Cursos de formación sobre SDMX
SDMX elemental (para estadísticos y personal de TI)Tiene lugar en Eurostat. Dirigido a personas responsables de la gestión y difusión de datos y metadatos basados en SDMX.
Curso avanzado sobre SDMX (para desarrolladores de TI)Tiene lugar en Eurostat. Dirigido a desarrolladores de TI y propuesto en dos versiones:
programadores JAVA
programadores .NET
Curso ESTP sobre “Tecnologías avanzadas para la recopilación y difusión de datos” Externo
34Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Para más información
http://www.sdmx.org (Página web de SDMX)
https://webgate.ec.europa.eu/fpfis/mwikis/sdmx (Espacio de información de Eurostat)
[email protected] (Información general sobre SDMX)
[email protected] (Proyectos de implementación de Eurostat)
35Eurostat Unit A6 – Statistical cooperationSDMX Seminar
A.5 – Herramientas SDMX
36Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Software de código abierto para SDMX
Convertidor SDMXConvierte ficheros de datos de formatos SDMX a
otros formatos de ficheros
Asistente de Estructura de Datos(DSW)
Usado para crear, editar y probar artefactos SDMX
Registro SDMXUn repositorio central para almacenar y compartir
artefactos SDMX
Infraestructura de Referencia (SDMX-RI)
Un conjunto de herramientas que permite conectar sus sistemas TI al mundo SDMX
Asistente de MapeoMapeo y transcodificación de los contenidos de una base de datos existente a estructuras de
datos SDMX
Generador XSDGenera un esquema de definición XML estándar
para una DSD SDMX dada
37Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Convertidor SDMX
Convierte desde todos los formatos existentes de la versión 2.0 estándar de SDMX (genérica, compacta, de utilidad y transversal) así como de GESMES (SDMX-EDI 2.0) FLR y formatos CSV.
La interacción con el Convertidor es posible mediante el uso de una Interfaz Gráfica de Usuario (GUI), intefaz de línea de comandos (CLI) y vía su API de programación.
La interfaz de Servicio Web ofrece la posibilidad de exponer las funcionalidades del Convertidor en la Web. Los clientes pueden hacer una llamada al servidor de la aplicación donde el servicio del Convertidor se encuentre desplegado.
38Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Registro SDMX
Registro de metadatos que implementa al registro de especificaciones SDMX
El Registro SDMX tiene como tarea el proporcionar una estructura, organización, y mantenimiento e interfeaces de consulta para la mayoría de componentes SDMX necesarios para el soporte de la visión de los datos a compartir
Proporciona una interfaz de usuario basada en web así como servicios web para interactuar con los objetos de metadatos estructurales SDMX en uso dentro de Eurostat y con socios estadísticos.
El registro sólo se preocupa de proporcionar la información necesaria para acceder a los conjuntos de datos y metadatos de referencia
Una aplicación que quisiera un conjunto de datos o metadatos concreto consultaría entonces al registro acerca de la URL, y entonces iría y obtendría el conjunto de datos o metadatos directamente del servidor web del proveedor.
39Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Asistente de Estructura de Datos DSW
Una aplicación individual de Java que soporta la versión 2 del estándar SDMX.
Puede usarse tanto offline como online, dependiendo de la elección del usuario y sus derechos de acceso.
Permite el mantenimiento de los siguientes artefactos SDMX v2.0: Definiciones de Estructuras Datos, Listas de Códigos, Esquemas de Concepto, Flujos de Datos, Listas de Códigos Jerarquizadas, Esquemas de Categoría y Esquemas de Organización.
Posibilidad de crear dinámicamente una plantilla para una DSD especificada en formato SDMX v2.0.
Proporciona un mecanismo para importar/exportar definiciones DSD SDMX-ML v2.0 y un mecanismo para importar/exportar definiciones DSD desde/a ficheros de estructura GESMES/TS
40Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Infraestructura de Referencia SDMX (SDMX-RI)
Una infraestructura generalizada de servicios que puede reutilizarse parcial o completamente por una organización interesada en empezar proyectos SDMX para el intercambio de datos.
Estos son los modelos más comunes de Infraestructura de Referencia SDMX:
– Parseador de Consultas SDMX
– Recuperador de Datos
– Recuperador de Estructuras
– Generador de Datos SDMX
– Asistente de Mapeo Dos componentes web:
– Cliente Web
– Proveedor de Servicios Web
41Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Asistente de Mapeo
Facilita el mapeo entre los metadatos estructurales proporcionados por una Definición de Estructura de Datos SDMX-ML (DSD) y aquellos que residen en una base de datos de un entorno de difusión.
Mantiene un Almacén de Mapeo para guardar los mapeos entre SDMX y el esquema de almacenaje de datos locales
En la Infraestructura de Referencia SDMX, proporciona información de mapeo para el Recuperador de Datos.
42Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Generador XSD
Produce Definiciones XML de Esquemas (XSD) basadas en una DSD recibida
Produce esquemas XSD para formatos Compactos, Transversales o de Utilidad para el estándar SDMX v2.0, y pueden usarse:– Como un bloque de construcción reutilizable, a través de su API.
– A través de una Interfaz Gráfica de Usuario (GUI) individual
– A través de una Interfaz de Línea de Comandos (CLI)
– A través de una GUI Web
43Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Relaciones entre Herramientas – Ejemplo
DSW
Convertidor
Registro SDMX
SDMX-RIAsistente de
Mapeo
DSD
Base de Datos
Nacional
Fichero CSV
DSD
Conjunto de Datos
SDMX
Mapeo
Produce
Produce usa
Almacena
ProduceProduce
usa usa