Post on 25-Jan-2015
description
transcript
DATA WAREHOUSE
BASE DE DATOS
UNIVERSIDAD ESTATAL DE MILAGRO
ENERO DE 2010
MAURICIO QUINTUÑA
La definición de empresa:
Es una unidad de producción de bienes y servicios para satisfacer las necesidades de un mercado.
•El objetivo de una empresa es ganar dinero¡¡¡¡
¿Cómo se mueve actualmente la cadena de suministro?Por un lado fluye productos y al mismo tiempo fluye una gran cantidad de información en cada eslabón de la cadena.
proveedor inventario producción inventario clientes
FLUJO DE INFORMACION
PRODUCTOS Y SERVICIOS
Entorno de la empresa actual.
Globalización de los mercados.Es necesario contar con ventaja competitiva o comparativa respecto a otras empresas.Incertidumbre y turbulencia del entorno.Oferta en un entorno de alto nivel de competencia.Demanda más exigente y selectiva.Aumento de la innovación y oferta de productos.Acortamiento del ciclo de vida de los productos.Utilización del costo, calidad, tiempo, innovación y orientación al cliente como estrategias de negocios.
•Por lo tanto ante la imperante necesidad de obtener información confiable casi en tiempo real la utilización de un sistema de Data Warehouse se considera hoy día como una herramienta primaria no solo en las empresas globales sino inclusive en las PYMES.
¿Qué es un “Data Warehouse”?Es un almacén de datos de muy fácil acceso, alimentado de numerosas fuentes, transformadas en grupos de información sobre temas específicos del negocio, para permitir nuevas consultas, análisis, reportes ejecutivos y finalmente lo más importante, tomar decisiones.
Un sistema de Data Warehouse permite transformar datos o información bruta en información con sentido y extremadamente útil.Uno de los valores más importantes de una organización es la información. Estos valores normalmente son guardados por la empresa de dos formas:Los sistemas operacionales de registros (de donde el Data Warehouse obtiene los datos) y nuestro almacén de datos.
¿Cuáles son los objetivos fundamentales de un Almacén de Datos?
a) Hacer que la información de la organización sea accesible.b) Hacer que la información de la organización sea consistente.c) Que la información sea adaptable y flexible.d) Seguridad en el resguardo de la información.e) Ser la base principal de información para la toma de decisiones.
Las razones básicas de porque una organización implementa Data Warehouse:
a) Para realizar tareas en los servidores y discos, asociados a queries y reportes en servidores y discos que no son utilizados por sistemas de proceso de transacciones.
b) Para utilizar modelos de datos o tecnologías de servidores que agilizan los queries y reportes, y que no son apropiados para los procesos de transacciones.
c) Para proveer un ambiente donde relativamente una muy poca cantidad de conocimiento de los aspectos técnicos de tecnología de bases de datos es requerida para escribir y mantener queries y reportes.
d) Para proveer un almacén del sistema de proceso de transacciones limpio que puede ser reportado y que no necesariamente requiere que se arregle el sistema de proceso de transacciones.
e) Para hacer los queries y reportes de datos básicamente más fácil de los múltiples procesos de transacciones y de las fuentes externas y de los datos que deben ser almacenados solamente para el propósito de hacer queries y reportes.
Los procesos básicos del Data WareHouse (ETL):
a) Extracción: este es el primer paso de obtener la información hacia el ambiente del Data Warehouse.
b) Transformación: una vez que la información es extraída hacia el área de trafico de datos, hay posibles paso de transformación como; limpieza de la información, tirar la basura que no nos sirve, seleccionar únicamente los campos necesarios para el Data Warehouse, combinar fuentes de datos, haciéndolas coincidir por los valores de las llaves, creando nuevas llaves para cada registro de una dimensión.
c) Carga: al final del proceso de transformación, los datos están en forma para ser cargados.
Los elementos básicos de un Data WareHouse:
a) Sistema fuente: sistemas operacionales de registros donde sus funciones son capturar las transacciones del negocio. A los sistemas fuentes también se le conoce como Legacy System.
b) Área de trafico de datos: es un área de almacenamiento y grupo de procesos, que limpian transforman, combinan, remover los duplicados, guardan, archivan y preparan los datos fuente para ser usados en el Data Warehouse.
c) Servidor de presentación: la maquina física en donde los datos del Data Warehouse son organizados y almacenados para Queries directos por los usuarios finales, reportes y otras aplicaciones.
d) Modelo dimensional: una disciplina especifica para el modelado de datos que es una alternativa para los modelos de entidad – relación.
e) Data Warehouse system.f) OLAP: actividad general de búsquedas para presentación de texto y números del Data
WareHouse, también un estilo dimensional especifico de búsquedas y presentación de información.
g) ROLAP: un grupo de interfases de usuarios y aplicaciones que le dan a la base de datos relacional un estilo dimensional.
h) MOLAP: un grupo de interfases de usuarios, aplicaciones y propietarios de tecnología de bases de datos que tienen un fuerte estilo dimensional.
i) Aplicaciones para usuarios finales: una colección de herramientas que hacen los queries, analizan y presentan la información objetivo para el soporte de las necesidades del negocio.
El Data Mining y su relación con el Data Warehouse.
Un sistema Data Mining es una tecnología de soporte para usuario final cuyo objetivo es extraer conocimiento útil y utilizable a partir de la información contenida en las bases de datos de las empresas.
Las herramientas de Data Mining sirven para predecir tendencias y comportamientos, de esta manera permiten a las organizaciones tomar decisiones proactivas para adaptarse rápidamente a los cambios del mercado obteniendo así ventajas heterogéneas Bases de Datos relacionales, ficheros planos y registros de transacciones en línea.
El Data Warehouse dota a las organizaciones de memoria, y el Data Mining de inteligencia.
.
Ventajas de Data Warehouse:a) Proporciona información clave para la toma de decisiones empresariales.Mejora la calidad de las decisiones tomadas.b) Especialmente útil para el medio y largo plazo.c) Son sistemas relativamente sencillos de instalar si las fuentes de datos y los objetivos están claros.d) Muy útiles para el almacenamiento de análisis y consultas de históricos.
Desventajas:a) No es muy útil para la toma de decisiones en tiempo real debido al largo tiempo de procesamiento que puede requerir. En cualquier caso la tendencia de los productos actuales (junto con los avances del hardware) es la de solventar este problema convirtiendo la desventaja en una ventaja.b) Requiere de continua limpieza, transformación e integración de datos.c) En un proceso de implantación puede encontrarse dificultades ante los diferentes objetivos que pretende una organización.d) Una vez implantado puede ser complicado añadir nuevas fuentes de datos.
Fuentes de DatosPapel, ficheros, fuentes externas, SGBDS, OLTP
Data Warehouses / Data MartsOLAP
Data MiningExploración de datos y descubrimiento de
información
Presentación de datosTécnicas de visualización
Toma dedecisiones
Admon.DB
Analista datos
Analista negocios
Usuario final
Evolución desde los datos operacionales hasta la información para la toma de decisiones
Cuatro características clave del Data Warehouse
Las evoluciones tecnológicasLa vinculación implícita con la estrategia de
la empresaUna lógica de mejora continuaUn nivel de madurez diferente según las
empresas
FASES DE IMPLANTACIÓN
Implementación:
Extracción de los datos del sistema operacional y transformación de los mismos.
Carga de los datos validados en el Data Warehouse. Esta carga deberá ser planificada con una periodicidad que se adaptará a las necesidades de refresco detectadas durante las fases de diseño del nuevo sistema.
Explotación del Data Warehouse mediante diversas técnicas dependiendo del tipo de aplicación que se de a los datos:
Revisión:
La construcción del Data Warehouse no finaliza con la implantación del mismo, sino que es una tarea iterativa en la que se trata de incrementar su alcance aprendiendo de las experiencias anteriores.
Después de implantarse, debería realizarse una revisión del Data Warehouse planteando preguntas que permitan, después de los seis o nueve meses posteriores a su puesta en marcha, definir cuáles serían los aspectos a mejorar o potenciar en función de la utilización que se haga del nuevo sistema
Arquitectura Data WarehouseBase de datos operacional / Nivel de base de datos
externo
Nivel de acceso a la información
Nivel de acceso a los datos
Nivel de directorio de datos (Metadata)
Nivel de gestión de proceso
Nivel de mensaje de la aplicación
Nivel de data warehouse
Nivel de organización de datos
ESTRUCTURA DEL DATA WAREHOUSE
Datos antiguos: La data antigua es aquella que se almacena sobre alguna forma de almacenamiento masivo. No es frecuentemente accesada y se almacena a un nivel de detalle, consistente con los datos detallados actuales. Datos Actuales:Refleja las ocurrencias más recientes, las cuales son de gran interés Datos ligeramente resumidosLa data ligeramente resumida es aquella que proviene desde un bajo nivel de detalle encontrado al nivel de detalle actual. Este nivel del data warehouse casi siempre se almacena en disco. Los puntos en los que se basa el diseñador para construirlo son: Datos completamente resumidos:El siguiente nivel de datos encontrado en el data warehouse es el de los datos completamente resumidos. Estos datos son compactos y fácilmente accesibles.
JDE
catálogos
compras
ventas
inventarios
manufactura
contabilidad
costos
DB2
Ledger movements
Location
AS400
OS400
FTPprotocolo
FormatoTXT
DataWarehouse
COGNOSWindows server 2003
Ventas
Inventarios
Clientes
reportes
Lay out
Reportes
Mex - Sales as of Martes, 25 de Marzo de 2008
Sales Qtycomo valores
All Months
010591 ABASTECEDORA LUMEN, S.A DE C.V
3061050000 -HOJAS GIGANTES CARS Y PRINCESA 564
3061130000 -HOJAS GIGANTES HADAS 480
3061160000 -HOJAS GIGANTES BOB ESPONJA 480
008985 ABASTECEDORA DE OFICINAS S.A. DE
6930080000 -"MIS PRIMERAS" TIJERAS 960
501401M000 -12 GISES AMARILLO OPTICO ANTI- 1,512
5014020000 -12 GISES BLANCOS ANTIPOLVO 1,008
All Major Brands - Crayola 288,287
009996 CASA MARCHAND S.A DE C.V
6930080000 -"MIS PRIMERAS" TIJERAS 1,400
6930090000 -TIJERAS PUNTA ROMA 2,820
6934500000 -SACAPUNTAS P/CRAYON CRAYOLIN 996
All Major Brands - Crayola 585,482
007202 COSTCO DE MEXICO, S.A DE C.V.
5112020000 -CUBETA DE 52 GISES GIGANTES 5,815
7525000000 -COLOR WONDER SPRAYER 5,332
7410010000 -COLOR EXPLOSION TWIN PACK COST 4,320
All Major Brands - Crayola 65,316
007077 DISTRIBUIDORA LIVERPOOL, S.A. DE
5611010000 -1 PEGAMENTO EN BARRA 8 G -23
6912050000 -5 PEGAMENTOS CHISPEANTES MULTI 298
6917050000 -5 PEGAMENTOS CHISPEANTES COLOR -1
All Major Brands - Crayola 67,642
010057 DISTRIBUIDORA GARDI S.A
5014020000 -12 GISES BLANCOS ANTIPOLVO 216
5103070000 -150 GISES BLANCOS (SEMICOMPRIM 120
5103200000 -12 GISES BLANCOS (SEMICOMPRIMI -3,198
All Major Brands - Crayola 194,256
007051 GIGANTE, S.A. DE C.V. 5611010000 -1 PEGAMENTO EN BARRA 8 G -12
5611280000 -PEGAMENTO ESCOLAR 28 ML -17
6930080000 -"MIS PRIMERAS" TIJERAS 1,743
All Major Brands - Crayola 108,735
Mex - Sales as of Martes, 25 de Marzo de 2008
[All Major Brands - Crayola][2007][010680 NUEVA WAL MART DE MEXICO S. DE R.][All Customer Types][All Sales Reps - Customer][All Regions][All Order Types /Sales][All Order Types][All Weeks][All Months][All Margin Ranges][All Channels][All Product Status][All GL Cat's]Sales Qty
Sales Qtycomo valores
All Months
010680 NUEVA WAL MART DE MEXICO S. DE R. 5203120000 -12 CRAYONES JUMBO DE CERA 31,548
5230120000 -12 CRAYONES ESTANDAR DE CERA 29,455
5207840000 -12 TWISTABLES 19,522
5207080000 -8 MINITWISTABLES 19,504
5809120000 -12 PLUMONES DELGADOS COLORES C 18,779
6935700000 -CUBETA DE 15 GISES GIGANTES 18,303
5230240000 -24 CRAYONES ESTANDAR DE CERA 13,700
6874080000 -12 LAPICES DE COLOR TWISTABLES 13,082
5203240000 -24 CRAYONES JUMBO DE CERA 12,993
5203280000 -28 CRAYONES JUMBO DE CERA 12,971
5887030000 -16 PIP SQUEAKS 11,002
5230160000 -16 CRAYONES ESTANDAR DE CERA 8,960
5305550000 -ACUARELA CON 16 COLORES 8,488
5703100000 -PLASTILINA EN BARRA 10 COLORES 7,403
5243120000 -12 CRAYONES TRIANGULAR 5,368
0535150000 -4 PINCELES ESCOLARES 5,139
5207120000 -12 MINITWISTABLES 3,955
All Major Brands - Crayola 159,832
010680 NUEVA WAL MART DE MEXICO S. DE R. 159,832
Conclusiones
¿Qué es un Datawarehouse?
Es una base de datos que contiene datos de la empresa, además de integrar una serie de datos históricos. Tiene una orientación a uno o varios temas, con datos consolidados y consistentes, estructurados para su distribución y consulta.
¿Tengo varias Bases de Datos, puedo almacenar la información en un mismo Data Warehouse?
Desde luego que si, al concentrar la información en una Data Warehouse, el acceso a la información es más rápido, además de que es posible hacer cruces entre la información de diferentes Bases de Datos.
Finalización!!!