Date post: | 08-May-2015 |
Category: |
Documents |
Upload: | jose-carrasco |
View: | 1,466 times |
Download: | 3 times |
Arquitectura yescalabilidad
José Carrasco Senior Solution Engineer
Barcelona 14 Nov 2012
Qué hay en este webinar ?
10 % 0verview de las novedades de la plataforma
50 % Mejoras en la escalabilidad
40 % Las 1001 formas de escalar Alfresco
NOVEDADES ARQUITECTÓNICAS10 % 0verview de las novedades de la plataforma
La plataforma
AP
Is
CMIS
SOA - Webservices
RESTful
Webscripts
Bulkloading API
Pro
tocolo
s
WebDAV
FTP
CIFs - Sharepoint
Len
gu
aje
s
Java
.net
Php
Python
C++
Qué hay de nuevo en Alfresco 4 ?
NewWebScripts
OpenCMIS Server
Foundation Services
DatabaseContentStore
Search CannedQueries
Share Services
Social Services
NodeLocator
Home Folder 2
CIFS Driver 2
Peer Associations
Publishing
Index Control
Caching Content
Store
EncryptedProperties
Android APP
CannedQueries
MEJORAS EN LA ESCALABILIDAD
50 % Mejoras en la escalabilidad7
Mejoras en el rendimiento
• 10x más rápido en Queries al User Dashboard
• 4x más rápido en la subida de contenidos• 25% más rápido cargando la librería de
documentos• 50% más rápido cargando los detalles del
documento• Mejoras significativas búscando y
indexando
Mejoras en la Arquitectura
• Subsistema de indexación• Cloud Híbrida• Servidor de transformación• Clustered Filesystems• FSTR
Subsistema de Indexación1
Subsistema de indexación
• El sistema de indexación ahora esta en un subsistema separado
• Alfresco nos ofrece una capa opcional de indexación independiente basada en Apache Solr
• El funcionamiento del repositorio ahora es
independiente de los servicios de búsqueda.
El gran cambio en la 4.01. Alfresco Repository
– alfresco.war = alfresco/
2. Alfresco Share– share.war = share/
3. Third party applications– OpenOffice, convert, pdf2swf
4. Database– JDBC supported database
5. Content Store– alf_data/contentstore and alf_data/contentstore.deleted
6. Indexes– alf_data/lucene-indexes and alf_data/backup-lucene-indexes
ESCALABLE
ESCALABLE
ESCALABLE
ESCALABLE
ESCALABLE
ESCALABLE AHORA env4.0
Las 3 opciones del subsistema
• lucene– Librerías de Lucene embebidas dentro
del repositorio.
• solr– Habilita la integración con Solr
• noindex:– No se habilita ningún buscador.
Sistema Push
Lucene
Eventual consistency (Solr)
Control de ACLs
Ventajas
• Distribución de las cargas del repositorio y de la capa de indexación en diferentes capas
Tomcat
Share
Alfresco
Repository Tier Index Tier
Tomcat
Solr
Ventajas
• Mejora de la escalabilidad horizontal y vertical de la solución
Tomcat
Share
Alfresco
Repository Tier
Index Tier
Load
Bala
nce
r Tomcat
Solr
Alfresco
Tomcat
Solr
Alfresco
Solr vs. Lucene
• Solr mejora los rendimientos de Lucene en todos los escenarios
• El rendimiento de Solr escala bien a medida que escalamos usuarios
Despliegue híbrido2
Alfresco Cloud
• Hosted service• Multitenant
– Red Privada– Invitación Privada
• Free 10GB storage• Cuentas Premium
– Almacenamiento– Caracteristicas Admin
• Sincronización con On Premise
Nuevo paradigma ECM
Silo
Repositorio central
Despliegue hibrido
del SILO a la NUBE™
Nube Hibrida
Alfresco in the cloud
EU Division
US ProfServices
OffshoreDevelopment
Sync
Sync Sync
Consultant
Anno
tate
Workflow
Workflow
Workflow
Wor
kflow
CustomerApprove
This is Cloud Connected Content
Alfresco Enterprise Sync1
2
3
4
Alfresco EnterpriseOn-Premise
Alfresco in the cloud
The Alfresco API & SDK
www.alfresco.com/develop
Servidor de transformación3
Transformaciones ?
• Convertir de un formato a otro• Usado para previsualizaciones• Ejemplos:
– Miniaturas– Previsualizaciones
• Lanzadas por reglas
Cómo se hace?
• Utiliza un conjunto de herramientas:– Open Office para ofimática– ImageMagick para imágenes– SWF Tools para Flash
• Se puede extender ( es un framework)
• Se pueden encadenar (composición)• Transformaciones existentes ?:
– http://localhost:8081/alfresco/s/mimetypes
Servidor de Transformación
• Transformación perfectas a nivel de Pixel• Alto grado de corrección en transformaciones
de Office complejas • Transformation Tier• Sistema avanzado de gestión de errores de
transformación• Del orden de 2 a 3 veces más rápido
transformando grandes documentos (+1Mb) de office.
• En el roadmap: conversiones avanzadas de video
Requerimientos de Software
• Microsoft Windows 2008 Server R2 SP1 x64 con los últimos parches (English)
• Microsoft Office 2010 SP1 x86 (English)
• Consultar http://support.alfresco.com para último stack
Clustered File Systems4
Clustered File Systems (4.1.2)
• Para usar CIFS, FTP o NFS en un entorno clúster
• Soporte gracias a las librerías Hazelcast
FSTR5
FSTR
FILE SYSTEM TRANSFER SERVICE
• FSTR ha sido reescrito para la versión 4.0
• FSTR ahora utiliza los Transfer Services
• Incluido como una parte del DM (en lugar de AVM)
• Configurable via SHARE
• Nos ofrece la posibilidad de publicar contenido desde el DM a cualquier file system sin la necesidad de utilizar un custom script o pasar por el AVM.
• FSTR funciona en su propia instancia de tomcat
Caching Content Store6
Caching Content Store
• Permite encapsular un determinado Store para mejorar el rendimento
• Es un wrapper pensado para implementaciones lentas.
Mejorar lo existente7
Políticas de Almacenamiento
• AKA Information Lifecycle Management (ILM)
• Almacenamiento dinámico basado en políticas de negocio / ciclo de vida
• Reduce el costo sin reducir el performance necesario
– Políticas de Backup– Seguridad– Coste por documento
SSD$$$
FC Drives$$
SATADrive$
Policy Rules
Policy Rules
XAM Content Connector
• Una buena solución para contenido que no va a cambiar
• Soporte para almacenamiento compatible con XAM
• Diseñado para trabajar con soluciones como EMC, HP, IBM, Hitachi, Sun, etc.
• Solo para Alfresco Enterprise
MODELOS DE DESPLIEGUE40 % Las 1001 formas de escalar Alfresco
1. Definiendo el CASO de uso
Modo Repositori
o
Plataforma de
colaboración
Servicios de
contenidos web
Scanning
SolutionsCorporate
Systems Liferay
DrupalJive
SAPPeopleSoft
ArchiveRecords
Management
Content Distribution
ContentDeployment
Web sites
Share
Project
Team DepartmentCollaboration
Intranet
Knowledge Repository
2. Analizando la carga
• Usuarios concurrentes• Tamaño del repositorio• Ratio de ingesta de documentos• Ratio de escritura / lectura• Operaciones de búsqueda• Usuarios y grupos• Protocolos• Operaciones Batch• Adaptaciones
Único Servidor
Tomcat
Share
Alfresco
Storage Layer
Solr
Tomcat
Share
Alfresco
Storage Layer
Embedded Solr No Index
Tomcat
Share
Alfresco
Storage Layer
Lucene
Activo - Activo
Tomcat
Share
Alfresco
Solr
Tomcat
Share
Alfresco
Solr
Load Balancer
Storage Layer
Database Cluster SAN Failover
Escalando SHARE
Tomcat
Alfresco
Solr
Storage Layer
Tomcat
Alfresco
Solr
Repository Tier
Client Tier
Load Balancer
Tomcat
Share
Tomcat
Share
Load Balancer
Capa de Indexación
• Sin Alfresco dedicado a Tracking )
Tomcat
Share
Alfresco
Tomcat
Solr
Storage Layer
Tomcat
Share
Alfresco
Index Tier
Repository Tier
Tomcat
Solr
Load Balancer
Capa de Indexación
Tomcat
Share
Alfresco
Tomcat
Solr
Alfresco
Load Balancer
Storage Layer
Tomcat
Solr
Alfresco
Tomcat
Share
Alfresco
Index Tier
RepositoryTier Load
Balancer
• Con Alfresco dedicado a Tracking )
Ventajas de Alfresco dedicado
• Recibe la carga del seguimiento de la indexación
• Se genera menos tráfico de red a las instancias productivas de Alfresco.
• Mejora el rendimiento general del index tracking
DESventajas de Alfresco dedicado
• El Alfresco dedicado al index tracking ocupa recursos del servidor Solr. Esto puede afectar a los tiempos de respuesta.
• En estos escenarios, puede ser necesario mover el alfresco a otra máquina.
Capa de Transformación
Tomcat
Share
Alfresco
Tomcat
Solr
Alfresco
Load Balancer
Storage Layer
Tomcat
Solr
Alfresco
Tomcat
Share
Alfresco
Index Tier
RepositoryTier Load
Balancer
Tomcat
Transformation
Server
Transformation Tier
Con servidor de ingesta
Tomcat
Share
Alfresco
Tomcat
Solr
Alfresco
Load Balancer
Storage Layer
Tomcat
Solr
Alfresco
Tomcat
Share
Alfresco
Index Tier
RepositoryTier Load
Balancer
Tomcat
Alfresco
CMIS
Solo Repositorio
Tomcat
Solr
Alfresco
Load Balancer
Storage Layer
Tomcat
Solr
Alfresco
Index Tier
RepositoryTier Load
Balancer
Tomcat
Alfresco
Tomcat
Alfresco
CMIS
Separación funcional
Tomcat
Share
Alfresco
Solr
Tomcat
Share
Alfresco
Solr
Load Balancer
Storage Layer
Tomcat
Share
Alfresco
Storage Layer
Enterprise Collaboration Documentation Department
Replication Job
Web Content Services
Tomcat
Share
Alfresco
Solr
Tomcat
Share
Alfresco
Solr
Load Balancer
Storage Layer
Tomcat
Alfresco
Storage Layer
Replication Job
Drupal
CMIS
Solr
Despliegue Hibrido
Tomcat
Share
Alfresco
Solr
Tomcat
Share
Alfresco
Solr
Load Balancer
Storage Layer
Enterprise Collaboration
Cloud
SYNC
VERSIÓN 4.1.1BENCHMARKS3-4 x veces más rápido en la mayoría de operaciones(comparado con la 3.4)
Resultados
• Dos nodos de Alfresco con 3 CPU cada uno y alrededor de 12Gb de Heap con 2 nodos de Solr pueden soportar hasta 1080 usuarios concurrentes en un escenario de colaboración que alcance 10 millones de contenidos sin ningún problema de degradación de performance.
• Share es un cliente ligero que apenas afecta al performance.
• El repositorio ya no es el cuello de botella
• En un escenario con un 48% de búsquedas, Solr es una capa critica.
• Un Alfresco dedicado para Index Trackers es beneficioso en un conjunto amplio de escenarios.
Benchmark Server Architecture
MongoDBMongoDB
MongoDB
Test Run Event QueuesTest Run ResultsData Mirror Collections
ZooKeeper
Server configurationTest DefinitionsTest run definitions
Client
Configuration
Reporting
Benchmark Server 1
Thread PoolCommon Libraries eg. WebDriver
Benchmark Server N
Thread PoolCommon Libraries e.g. WebDriver
Test Target