GoldenGate
Rafael Planella
Arquitecto de Sistemas Oracle
10-12-2013
Agenda
1. ¿Por qué Oracle GoldenGate?
2. Posicionamiento
3. Tecnología
4. Escenarios
3 avanttic Consultoría Tecnológica
¿Por qué
Oracle GoldenGate?
4 avanttic Consultoría Tecnológica
• Oracle GoldenGate permite capturar, enrutar, transformar, y enviar
datos transaccionales entre entornos heterogéneos en tiempo real.
• Con Oracle GoldenGate no solo podemos hacer replicación de
datos, sino también consolidación, gracias la posibilidad de realizar
transformaciones básicas durante los procesos de extracción y
carga.
• Aspectos diferenciadores:
• Rendimiento: Porque no es intrusivo
• Inmediato: Latencia de replicación (<1 segundo)
• Abierto: Soporta orígenes y destinos de diferentes proveedores de base
de datos (MySQL, SQL Server, Oracle, TeraData, Sybase, etc.)
• Fiable: Mantiene la integridad transaccional contra interrupciones y
caídas de servicio.
¿Por qué Oracle GoldenGate?
5 avanttic Consultoría Tecnológica
¿Por qué Oracle GoldenGate?La solución empresarial para las necesidades de Tiempo Real
Datos y
aplicaciones
Críticos,
Business
Intelligence,
Reporting para
Clientes, Partners &
Empleados
Información
en Tiempo Real
Bases de datos y
aplicaciones,
fuentes
heterogéneas,
combinadas,
sistemas
distribuidos, legacy,
OLTP, OLAP
Oracle GoldenGate facilita el acceso a información en tiempo real, permitiendo a las empresas mejorar drásticamente la disponibilidad, fiabilidad, y rendimiento de sus datos
críticos distribuidos en sistemas heterogéneos.
Acceso en Tiempo Real
6 avanttic Consultoría Tecnológica
• La información en Tiempo Real representa disponer de:
• Un nuevo factor diferencial para competir
• Datos actualizados para analizar las situaciones y tendencias
• Información sobre las preferencias y peticiones de clientes y partners
• la posibilidad de operar en entornos 24x7
¿Por qué Oracle GoldenGate?Toma las decisiones con la información actualizada al segundo
7 avanttic Consultoría Tecnológica
• Realización de operaciones de forma continuada…
• En aplicaciones críticas, eliminando paradas no planificadas y también
reduciendo el coste de paradas planificadas.
• Disminuye los costes de IT…
• Gracias al soporte heterogéneo para múltiples plataformas, permitiendo
reducir el coste en infraestructuras mediante query offloading.
• Mejora la eficiencia operacional…
• Mediante el rendimiento, la escalabilidad de las distintas fuentes de
datos en tiempo real, y la distribución de datos.
• Reduce el riesgo…
• Asegurando la integridad de los datos y la fiabilidad entre los sistemas
Origen y Destino. Permite cifrar y comprimir los datos cuando es
necesario.
• Mejora el análisis del negocio…
• Mediante Business Intelligence, DataWarehousing y report offloading en
tiempo real.
¿Por qué Oracle GoldenGate?Factores diferenciales de Oracle GoldenGate
8 avanttic Consultoría Tecnológica
Posicionamiento
9 avanttic Consultoría Tecnológica
Posicionamiento
• Integración y consolidación de datos
• Procesos nocturnos de carga
• Acceso a múltiples fuentes de información
• Mínimo tiempo de latencia (<1 seg)
• Intrusismo mínimo en los sistemas (Accede a los logs)
• Acceso y carga en múltiples fuentes de información
• Bidireccional
• Declarativo y fácil de utilizar
• Soporte de diferentes esquemas
• Replicación de datos
• Standby en centro de respaldo
10 avanttic Consultoría Tecnológica
PosicionamientoComparando GoldenGate y Streams
Oracle Streams Oracle GoldenGate
• Muy flexible y personalizable
• Optimizado para Oracle DB
• Pocas “grandes” referencias
• Se trata de una funcionalidad construida
sobre Oracle DB para compartir datos
• Pueden replicar datos en entornos
homogéneos para Oracle DB
• Los clientes actuales continuarán
disponiendo de soporte
• Se configura dentro de la DB, es
necesario disponer de suficientes
recursos.
• Soluciones Out-of-the-box
• Amplio soporte a plataformas
heterogéneas
• Excelente base referenciable
• Soluciones para integraciones en tiempo
real heterogéneas
• No invasivo, mantiene la integridad
transaccional a través de la WAN
• Muy baja latencia – volúmenes de datos
extremadamente altos
• Permite construir escenarios de Alta
disponibilidad y escalado (A-A, A-P)
11 avanttic Consultoría Tecnológica
PosicionamientoActive Data Guard y GoldenGate
Oracle Active Data Guard Oracle GoldenGate
Dirigido a • Usuarios Oracle Data Guard• Cualquier tipo de distribución
heterogenea.
Tecnología• Réplica física mantenida by shipping
redo blocks
• Réplica lógica mantenida by replaying
transactions
Beneficios
• Readable Data Guard standby
• Highest transaction rates
• Automatic repair of corrupt blocks
• High-value, simple add-on
• Bidireccional o Unidireccional
• Capture once, apply many (N-way)
• Replica entre esquemas diferentes
• Plataformas heterogéneas
Restricciones
• Solo Oracle
• Esquemas identicos
• Necesidad de plataformas similares
• Updateos locales deshabilitados
• Unidireccional
• Algunos tipos de datos no soportados
•Replica de DDL limitada
• Manual switch-over / fail-over
* Supported DBMS today: Oracle, MySQL, DB2, SQL Server, Sybase, Nonstop SQL, Enscribe, Teradata, Ingres, Greenplum, NetezzaSupported Platforms today: IBM AIX, IBM Z/OS, HP-UX, HP NonStop , Solaris, Linux Windows
12 avanttic Consultoría Tecnológica
PosicionamientoData Integrator Enterprise Edition and GoldenGate
Integración y replicación
en tiempo real
Transformación y carga
de datos masivos
• Solución rápida en real-time
• Carga en tiempo real (Segundos)
• Envío garantizado, eliminando perdida de
datos
• Eliminación de caídas en migraciones y
actualizaciones de versión
• Intrusión 0 en fuentes de datos
• Capacidades básicas de ELT/ETL
(Transformaciones)
• Solución rápida ELT
• Optimizado para transformar grandes
volúmenes de datos
• Agrupación de datos para mejor
administración
• Data Quality integrado con el producto
Oracle GoldenGateOracle Data Integrator
Enterprise Edition
Oracle GoldenGate
Oracle Data IntegratorEnterprise Edition
Real-time Data
E-LT
Transformation
Heterogeneous Sources Heterogeneous Targets
13 avanttic Consultoría Tecnológica
Tecnología
14 avanttic Consultoría Tecnológica
TecnologíaArquitectura
Capture: Los cambios confirmados son capturados ( pueden ser filtrados)
según se producen, leyendo el log de transacciones.
Trail Files: Almacena y encola los datos para su envío
Pump: Distribuye los datos para su enrutado a múltiples destinos.
Route: Datos comprimidos, encriptados para múltiples destinos.
Delivery: Escribe los datos con integridad
transaccional, transformando los datos
según sea necesario.
15 avanttic Consultoría Tecnológica
Bases de datos:
• Oracle
• DB2 for v 9.7
• Microsoft SQL Server for v 2008
• Sybase ASE
• Teradata
• Enscribe
• SQL/MP
• SQL/MX
• MySQL
• JMS message queue
Sistemas Operativos:
• Linux
• Sun Solaris
• Windows 2000, 2003, XP
• HP NonStop
• HP-UX
• HP TRU64
• HP OpenVMS
• IBM AIX
• IBM z Series
• zLinux
TecnologíaPlataformas heterogéneas soportadas
16 avanttic Consultoría Tecnológica
TecnologíaTopologías
Unidireccional
Query Offloading
Bi-Direccional
Live Standby or
Active-Active for HA
Peer-to-Peer
Load Balancing,
Multi-Master
Broadcast
Data Distribution
Integración/Consolidación
Data Warehouse
En Cascada
Data Marts
17 avanttic Consultoría Tecnológica
Escenarios
18 avanttic Consultoría Tecnológica
EscenariosCreación de un nuevo entorno para consultas
Query
Offloading
Solución:
• Crear una réplica en tiempo real del entorno operacional (legacy o
mainframe) muy costoso sobre Oracle con RAC y Linux.
• Sincronización de la réplica en tiempo real y envío de datos read-
only.
Beneficios:
• Reduce/elimina las operaciones SQL en sistemas transaccionales.
• Directamente reduce el coste de sistemas legacy, mainframe, non-
Oracle.
Reducción de costes
OLTP
Transactions
Non-Oracle or
Legacy Platform
Oracle Platform
Read Only
Users
OGG
Necesidad:
“¿Es necesario trasladar las capacidades de
procesamiento de operaciones SQL a BBDD estándar con
menor coste en SW y HW, sin interrupción en
transacciones o procesos críticos y a la vez soportar el
crecimiento de datos generado por el incremento en el
número de usuarios?”
19 avanttic Consultoría Tecnológica
EscenariosReporting en entornos operacionales
OGG
Solución:
• Informes sobre datos reales, inmediatos (live data), en sistemas
transaccionales.
• Sin necesidad de realizar una carga adicional en el sistema origen
– informes en una nueva instancia de la base de datos
sincronizados en tiempo real.
Beneficios:
• Permite disponer de informes tácticos para la rápida toma de
decisiones y el seguimiento del estado del negocio.
• Elimina el impacto en los sistemas origen.
• Resuelve los retos de ejecutar informes en sistemas
transaccionales (MIPs para ejecutar transacciones en vez de
generar informes).Transactional
Applications
Necesidad:
“¿Dispone de la transparencia adecuada sobre los datos
en los sistemas transaccionales más sensitivos?”
Real Time Data
Integration
Operational
Data Store
20 avanttic Consultoría Tecnológica
EscenariosBusiness Intelligence en Tiempo Real
OGG
Solución:
• Poblar un almacén de datos operacional destinado a un BI
operacional con datos en tiempo real.
• Ejecutar ELT desde ODS para cargar datos al warehouse con datos
transformados.
Beneficios:
• Mejora la capacidad de análisis sobre el negocio.
• Combina la capacidad de inteligencia de negocio sobre datos
actuales e históricos.
• Elimina la carga en los sistemas fuente.
• Reduce los tiempos de latencia y las ventanas de tiempo por
procesamiento batch
Production
Heterogeneous
Sources
Necesidad:
“¿Necesita analizar la situación y estado de su negocio
con los datos más actuales, sin necesidad de impactar
en sus sistemas más críticos?”
Real Time Data
Integration
ODI
Enterprice Data Warehouse
Oracle Database
Oracle Exadata
Real time Integration * Bulk
Data Transformation
21 avanttic Consultoría Tecnológica
EscenariosDistribución de datos/Sincronización
OGG
Solución:
• Replicar datos entre aplicaciones distribuidas permitiendo realizar
operaciones globales y mejorando la eficiencia operacional.
• Distribuir datos en tiempo real entre entornos Oracle y no Oracle.
• Crear configuraciones Activo-Activo, permitiendo disponer de datos
sincronizados entre centros de datos.
Beneficios:
• Alta disponibilidad en datos críticos.
• Posibilidad de escalado y de manejo de grandes volúmenes de
datos.
• Acceso a datos consistentes entre centros de datos,
geográficamente dispersos.
Oracle 9i
Oracle 10g SQL Server
Oracle 11g
Continuous
Availability
Necesidad:
“¿Cómo responden tus datos ante peticiones realizadas
24x7? ¿ Pueden todas tus unidades de negocio acceder
al mismo tiempo a la información más actualizada
continuamente?”
22 avanttic Consultoría Tecnológica
EscenariosMigraciones y actualizaciones de BBDD y
aplicaciones con “Zero-downtime”
OGG
Solución:
• Migrar desde BBDD, hardware o plataformas heterogéneas a
plataforma estandarizada Oracle 11g con mínima disrupción
operativa.
• Actualización de aplicaciones certificadas Oracle a nuevas
versiones (Siebel) sin downtime
Beneficios:
• Estandarización del centro de datos y modernización de las
plataformas.
• Zero down-time para aplicaciones críticas.
• Migración segura de usuarios de un sistema a otro, manteniendo
ambos operativos.
Previous Version
Previous DB Version New DB Version
New Version
Necesidad:
“¿Hay que realizar una migración de BBDD o una
actualización de una aplicación crítica pero no es posible
realizar ninguna parada por su impacto en los procesos
de negocio?”
Continuous
Availability
23 avanttic Consultoría Tecnológica
EscenariosMigraciones y actualizaciones de BBDD y
aplicaciones con “Zero-downtime”
OGG
Solución:
• Migrar desde BBDD, hardware o plataformas heterogéneas a
plataforma estandarizada Oracle 11g con mínima disrupción
operativa.
• Actualización de aplicaciones certificadas Oracle a nuevas
versiones (Siebel) sin downtime
Beneficios:
• Estandarización del centro de datos y modernización de las
plataformas.
• Zero down-time para aplicaciones críticas.
• Migración segura de usuarios de un sistema a otro, manteniendo
ambos operativos.
Previous Version
Previous DB Version New DB Version
New Version
Necesidad:
“¿Hay que realizar una migración de BBDD o una
actualización de una aplicación crítica pero no es posible
realizar ninguna parada por su impacto en los procesos
de negocio?”
Continuous
Availability
24 avanttic Consultoría Tecnológica
EscenariosProtección ante desastres
OGG
Solución:
• Usar GoldenGate para la replica de datos.
• Realizar una configuración que permita la replica en modo
bidireccional Activa-Pasiva.
Beneficios:
• Replicación de la BBDD origen total o parcial en una ubicación
remota.
• Permite usar hardware y software no heterogéneo
• Sin restricciones entre las ubicaciones geográficas – no afecta la
distancia
• Permite usar la BBDD remota para otras finalidades (reporting)
• Permite usar dos BBDD operativas como DR en modo cruzado.
Site Primario
Transaccional
Activo
BBDD abierta
Site DRP
Necesidad:
“¿Cómo disponer de una replica de mis datos
productivos? Por arquitectura, funcionalidad o
licenciamiento DataGuard no cubre mis necesidades…”
Continuous
Availability
25 avanttic Consultoría Tecnológica
Réplica unidireccional Oracle a MySQL
SQL Server MySQL
ORCL 1 ORCL 2
Extract
ReplicatPump
Pump
Pump Extract
Replicat
Pump
ReplicatReplicat
26 avanttic Consultoría Tecnológica
Q&A
Para más información contacte con nosotros a través de [email protected]
MADRID
Orense 85
28020 Madrid
Tel. 91 116 17 89
BARCELONA
Aragó 182, 4º planta
08011 Barcelona
Tel. 93 151 84 51