EVALU-ACCIÓN DEL PORTAL
www.formajoven.org
Carmen Lineros, Olga Leralta,Alejandro López y Silvia Toro
ESCUELA ANDALUZA DE SALUD PUBLICA2011
Instrumento de difusión y gestión de la actividad de FJ, para facilitar el acceso a recursos y al registro de actividades, y servir de soporte a la comunicación y el intercambio entre los y las profesionales que participan en diferentes ámbitos territoriales.
Potencial de Internet para la difusión del conocimiento. Cada vez más personas lo usan (Ministerio Industria y Comercio de España, 2009) con ventajas (disponibilidad, gratuitidad, rapidez, etc) y desventajas iIncertidumbre a la hora de buscar, sin filtrado. etc)
Necesidad de EVALUAR el portal para valorar su funcionamiento e iniciar un proceso de Mejora Continua en el que los y las profesionales FJ tengan un papel activo.
www.formajoven.org
INVESTIGACIÓN-ACCIÓN PARTICIPATIVA
•Auto-estudio comunitario, encabezado por los miembros activos de una comunidad (Abramson JH, 1990), los propios protagonistas de la intervención en FJ actores críticos que contribuyen de forma activa al proceso de investigación (Lapierre H, 2006)
•Aporta potencial para incrementar la capacidad de los y las profesionales que trabajan en FJ para promover cambios (Balcazal F, 2003)
•Capacidad para solucionar problemas de acuerdo a su grado de prioridad y reforzar la colaboración entre miembros de un colectivo.
•Empoderar (Freire P, 1974; Esteban ML, 2004) al usuario del portal, dándole un papel activo en la mejora de la calidad.
General:Evaluar la Web de promoción de salud www.formajoven.org a partir de la
opinión de sus usuarios y usuarias en la comunidad autónoma andaluza, incluyendo a gestores de la estrategia, y disponer de un listado de mejoras del mismo para su implementación.
Específicos: 1. Conocer qué opinan los profesionales y gestores de FJ del sitio Web.2. Identificar los puntos fuertes que expresan los grupos de interés sobre el
sitio Web.3. Disponer de un listado de Áreas de mejora en el portal.
OBJETIVOS
METODOLOGÍAPoblación de estudio: profesionales de los PFJ (100% sujetos elegibles, n=998) y
gestores (muestreo intencional, n=7) de diferentes ámbitos territoriales (Distritos y AGS, Delegaciones Provinciales de Salud y Educación) con acceso al registro de actividad del portal en 2011.
Método: Diseño transversal y metodología mixta, cuantitativa y cualitativa. 1. Revisión literatura para establecer marco de ubicación estudio y dimensiones..2. Diseño y elaboración cuestionario y pilotaje. Definición de items sujeta a criterios de
redacción de expertos (Martín MC, 2004) y validación con prueba piloto a muestra de profesionales FJ y triangulación por expertos.
3. Aplicación de la encuesta electrónica autoadministrada (Sánchez J, Muñoz F y Montoro FJ, 2009) aplicada al total de profesionales que están de alta en el Registro de Actividad FJ.
4. Y entrevistas semiestructuradas a muestra intencionada de gestores de FJ y expertos en promoción de salud y diseño Web.
5. Análisis de datos y valoración preliminar
Variables de estudio: diversas fuentes (ACSA, 2010; Codina 2010; EUROSTAT, 2007; Bermúdez-Tamayo C et al., 2006; Merlo, 2003; AETS, 1998 ) para obtener información sobre objetivos de la Web, acceso, contenidos, usabilidad, satisfacción y comunicación y registro de actividad.
DIMENSIONES INDICADORES
CUMPLIMIENTO DE OBJETIVOS Identificación de los objetivos de la Web
ACCESO A LA WEBFrecuencia de accesoFacilidad de accesoDificultades acceso
CONTENIDOS
DiseñoActualización información
VolumenRigor
Pertinencia (utilidad contenidos y de las áreas)
USABILIDAD
Lenguaje (comprensión)Facilidad de uso
Facilidad para localizar informaciónFácil organización
NavegabilidadTiempo descarga
SATISFACCION/COMUNICACIÓN
ConfianzaGrado de satisfacción generalFacilidad contacto con el sitio
Utilidad en el trabajo
REGISTRO DE ACTIVIDAD ONLINEIdentificación objetivo del Registro
Facilidad de acceso al RegistroNecesidad de Formación
VARIABLES DE ESTUDIO
RESULTADOS CUANTITATIVOS
CARACTERISTICAS DE LA POBLACION:
La población total de estudio fue de 1.059 personas. Muestra final: n=998.
Tasa de respuesta: 27,45% (Sánchez J, Muñoz F y Montoro FJ, 2009)
Media de edad: 45
P r of esi onal es según ámbi t o
Per sonal de Sal ud
75%
Per sonal de
Educaci ón
24%
Otr os (per sonal
muni ci pal )
1%
P r of e s ion a le s s e gú n s e x o
Femen in o
6 7 %
Masculin o
3 3 %
Ámbito profesional: Sexo:
RESULTADOS CUANTITATIVOS
La satisfacción global con la página Web es del 75%, siendo los aspectos más valorados la
confianza (90%) y la utilidad para el trabajo en FJ (76%).
Satisfacción general con la Web
0 20 40 60 80 100 120 140
Totalmente en desacuerdo
En desacuerdo
Ni de acuerdo ni en desacuerdo
De acuerdo
Totalmente de acuerdo
En general, la Web es útil para mi trabajo
3
12
33
116
34
0 20 40 60 80 100 120 140
Totalmente en desacuerdo
En desacuerdo
Ni de acuerdo ni en desacuerdo
De acuerdo
Totalmente de acuerdo
Puedo fiarme de los Contenidos
1
18
131
48
0 20 40 60 80 100 120 140
En desacuerdo
Ni de acuerdo ni endesacuerdo
De acuerdo
Totalmente de acuerdo
RESULTADOS CUANTITATIVOS
Sobre los contenidos: El 78% considera que el diseño es adecuado; el 72% que la información está actualizada y bien organizada; el 67% considera suficiente el volumen de información; que es rigurosa un 71% y útil para el trabajo en FJ el 76%
1 539
153
140
50
100
150
200
Totalmenteen
desacuerdo
Ni acuerdoni en
desacuerdo
Totalmentede acuerdo
Sobre el Diseño de la Web
Profesionales
Opinión sobre: Datos Web Actualizados
0 20 40 60 80 100 120 140 160
Totalmente en desacuerdo
En desacuerdo
Ni de acuerdo ni en desacuerdo
De acuerdo
Totalmente de acuerdo
Acerca de: La información en Web es suficiente
0 20 40 60 80 100 120 140
Totalmente en desacuerdo
En desacuerdo
Ni de acuerdo ni en desacuerdo
De acuerdo
Totalmente de acuerdo
Acerca de: La información es rigurosa
0 20 40 60 80 100 120 140
Totalmente en desacuerdo
En desacuerdo
Ni de acuerdo ni en desacuerdo
De acuerdo
Totalmente de acuerdo
La información de la Web es útil para mi trabajo
0 20 40 60 80 100 120 140 160
Totalmente en desacuerdo
En desacuerdo
Ni de acuerdo ni en desacuerdo
De acuerdo
Totalmente de acuerdo
RESULTADOS CUANTITATIVOS
Utilidad percibida de los contenidos de la Web:
Clasificación Contenidos
1 Registro de Actividad
2 Sitios de Interés
3 Buenas Prácticas
4 Preguntas frecuentes
5 Recursos
6 Cifras y datos
7 Noticias
8 Mapa de Puntos FJ
9 Red de Formación
10 Punto de Encuentro
11 Videoteca
Fuente: elaboración propia a partir de resultados cuestionario online
Áreas temáticas según frecuencia de consulta:
Clasificación Área temática
1ª Sexualidad y relaciones afectivas
2ª Estilos de vida
3ª Convivencia
4ª Salud Mental
RESULTADOS CUANTITATIVOS
El 90% considera el lenguaje utilizado en la Web fácilmente comprensible, y para más del 70%, la Web es sencilla de usar y navegar, incluso la primera vez.
Es sencillo utilizar la Web incluso la primera vez
Totalmente en desacuerdo
De acuerdo
Totalmente de acuerdoEn desacuerdo
Ni de acuerdo ni en desacuerdo
Totalmente en desacuerdo En desacuerdo Ni de acuerdo ni en desacuerdo De acuerdo Totalmente de acuerdo
El 50% de los profesionales de los PFJ que han respondido a la encuesta la tienen como favorita y sólo el 40% considera fácil el contacto o comunicación con la Web.
Web es mi favorita para mi trabajo en formaJoven
0 10 20 30 40 50 60 70 80 90
Totalmente en desacuerdo
En desacuerdo
Ni de acuerdo ni en desacuerdo
De acuerdo
Totalmente de acuerdo
RESULTADOS CUANTITATIVOS
Registro de Actividad: lo utiliza el 76% de los encuestados que responden a dicha pregunta, y de ellos una amplia mayoría (que supera el 75%) considera que el registro sirve para conocer y evaluar las actividades del Punto Forma Joven y, también, que le resulta fácil acceder al mismo.
Registro de actividad
47
149
020
406080
100120
140160
Sí No
SíNo
Registro me permite conocer y evaluar las actividades Forma joven
0 20 40 60 80 100
Totalmente en desacuerdo
En desacuerdo
Ni de acuerdo ni en desacuerdo
De acuerdo
Totalmente de acuerdo
Serie1
RESULTADOS CUALITATIVOS
Los resultados cualitativos indican que lo mejor valorado es la confianza, la utilidad de sus contenidos y la facilidad de uso, y lo peor valorado son los problemas de acceso a Internet y equipos en los centros y la explotación del registro de actividad.
RESULTADOS CUALITATIVOSÁreas positivas identificadas
• Herramienta útil para consultar información, descargar recursos y para el seguimiento y evaluación del programa.
• Disponer de un sistema de información online en tiempo real y de un sistema de información de eventos puesto al día, actualizado.
• Instrumento que da identidad al programa y permite su visualización.• Punto común de encuentro y conexión entre profesionales. • Recurso para que profesionales puedan solventar dudas.• Herramienta de apoyo con un espacio para el intercambio entre profesionales y facilita
materiales de FJ.• Diseño fácil y lenguaje cercano.• No sobran contenidos• Satisfacción general con la Web por su utilidad en el trabajo, porque ha conseguido
aglutinar un sistema de información, los recursos y la comunicación entre profesionales.• El Registro ha permitido saber lo que se hace. • Es muy positivo que el SAS reconozca el registro FJ como base de datos para evaluar la
actividad en FJ. • Ha nacido para facilitar el trabajo y es un recurso de Calidad.• Su existencia en sí misma brinda oportunidades.• Registro como plataforma para evaluar FJ.
RESULTADOS CUALITATIVOSÁreas de mejora
Sobre los Objetivos de la Web:• Dirigir la Web hacia ser un buen sistema de gestión documental, • Debe estar conectada con redes sociales y allí “donde se mueve el
conocimiento”.• Promocionar la Web, dar a conocer los recursos disponibles en ella.• Poner en valor la Promoción de Salud dentro del sistema sanitario porque
hay mucha interferencia política al realizarse actividades que “se ven mucho”.
• Dar prioridad a la gestión del conocimiento, la investigación (evaluar, hacer estudios, asesoramiento a equipos que los quieran hacer, promover la creación de equipos de profesionales) poner el énfasis en “cómo, por qué, qué sentido tiene, quién hace qué para conseguir qué.
RESULTADOS CUALITATIVOSÁreas de mejora
Sobre el acceso a la Web:• Restricción de acceso a la propia Web o a determinados contenidos desde
la red corporativa. • Hacer extensible la posibilidad de uso de la página en la intranet.• Falta de tiempo de los profesionales durante su jornada laboral.• Contemplar en contrato-programa.
Sobre los contenidos:• Restricción de acceso a la propia Web o a determinados contenidos desde
la red corporativa. • Hacer extensible la posibilidad de uso de la página en la intranet.• Falta de tiempo de los profesionales durante su jornada laboral.• Contemplar en contrato-programa.
RESULTADOS CUALITATIVOSÁreas de mejora
Sobre los Contenidos:• Revisar las áreas, definirlas y afinar más los contenidos de cada una.• Falta apartado de Mediación en Salud, integrar a los mediadores con protagonismo
en la Web.• Falta espacio propio para los PFJ no IES, que necesitan instrumentos específicos de
apoyo, coordinación y seguimiento.• Actualización de eventos, recursos, sitios de interés, cifras y datos y buenas
prácticas.• Incluir como temática las técnicas de abordaje con jóvenes con material audio-visual
que explique cómo hacer talleres con adolescentes y jóvenes, dinámicas de grupo.• Materiales estandarizados para trabajar en actividades grupales y asesorías dirigidas
a adolescentes y jóvenes, en función de la edad y con soportes multimedia (“aula virtual”)
• Recursos formativos para profesionales basados en la experiencia de trabajo con adolescentes y jóvenes y en la evidencia científica. Formación sobre el uso Web 2.0. para estar en las redes sociales.
• Links con Web de FJ de ámbito local • Información estadística “manejable” sobre FJ y sobre hábitos de salud.• Mejorar búsquedas
RESULTADOS CUALITATIVOSÁreas de mejora
Sobre usabilidad:• Usar la Comunidad requiere abrir un buscador aparte• Sistema de gestión documental con descriptores para búsquedas más
intuitivas• Tiempo de descarga depende del equipo informático• Encuadrar todos los temas tratados en asesorías y actividades grupales en
la clasificación existente. • Grabación de actividades una a una.• Problemas de “error en el servidor”
RESULTADOS CUALITATIVOSÁreas de mejora
Sobre Satisfacción/comunicación:
•Mejorar la comunidad FJ para que sea un foro técnicamente más sencillo de manejar que hasta ahora. •Aprovechar el registro de actividad también para comunicarse entre profesionales.•Priorizar la Comunidad FJ para potenciar la red de profesionales; gestión de links “tipo delicious” que permita compartir entre profesionales “lo que saben”. •El uso de la Comunidad como canal de comunicación entre profesionales no está desarrollado suficientemente•Aprovechar las utilidades de la Web 2.0 al máximo: Twitter, Facebook…
RESULTADOS CUALITATIVOSÁreas de mejora
•La explotación y la forma de registrar, “afinar más”.•La definición de lo que se registra (distinción entre asesoría individual y en grupo, actividad grupal) •Sistema autoexplicativo en los campos que generen confusión.•Agilizar proceso de asignación de contraseñas (desde los distritos). •Registro de los tiempos de asesoría aunque el alumnado no asista. •Definir campos: Datos registrados sujetos a interpretación de cada profesional.•Evaluación cualitativa que recoja opinión sobre el trabajo conjunto entre docentes y personal sanitario. •Evaluación de resultados e impacto. Memorias anuales con rigor científico. •Registro de preguntas literales del alumnado.•Acceso directo desde página de inicio.•Persona de referencia.•Registro diferenciado para el seguimiento de casos.•Impresión de registros.•Señalar campos obligatorios.•Simplificar el Sistema de Registro.
Sobre Registro de Actividad:
LIMITACIONES•Recogida de datos en dos semanas.
•Coincidencia en el tiempo otra encuesta a la misma población.
Escasez de respuestas por participación de carácter voluntario, aunque el porcentaje se considera adecuado (Sánchez J, Muñoz F y Montoro FJ, 2009).
•Dificultad de entrevistar por extensión territorial de FJ (modalidad telefónica).
•Autocomplacencia/falta de independencia por la implicación de las personas que evalúan en la gestión e intervención en FJ (Nevot M, 2007).
•Destinatarios/as de esta herramienta de apoyo a FJ que no son usuarios/as
•Usuarios/as no vinculados profesionalmente a FJ (adolescentes y jóvenes y sus familiares, profesionales de centros educativos no PFJ, de otras instituciones, comunidades autónomas y países
PROPUESTAS DE ACTUACIÓN
•Presentar informe preliminar a las diferentes administraciones que participan en FJ para dar a conocer los resultados y determinar la implementación de las áreas de mejora detectadas. Triangular la información para conocer la opinión desde el ámbito autonómico.
•Devolución de los datos a los y las participantes para su validación y posteriores intervenciones.
•Priorizar por facilidad de implementación las áreas de mejora identificadas.
•Difundir desde la Web los resultados y abrir una línea de opinión permanente, que sea otra forma de facilitar la comunicación con el sitio Web.
•Realizar una evaluación formativa del estudio que tenga en cuenta si el cuestionario ha llegado a los y las profesionales previstos, qué problemas han surgido y cómo se han resuelto, qué otros sectores interesa incluir en futuras investigaciones. Analizar en profundidad los resultados obtenidos, solventar algunas de las limitaciones encontradas y obtener nuevos hallazgos y conclusiones.