Date post: | 10-Oct-2018 |
Category: |
Documents |
Upload: | nguyencong |
View: | 217 times |
Download: | 0 times |
Guía para la planificación y la conducción de las evaluaciones estratégicas de la UICN
Para directivos y equipos de evaluación de la UICN
Preparada por la Iniciativa de Seguimiento y Evaluación de la UICN y Universalia Management Group
2004
Guía para las evaluaciones estratégicas de la UICN
ii
La designación de entidades geográficas y la presentación del material en este libro no implican la expresión de ninguna opinión por parte de la UICN respecto a la condición jurídica de ningún país, territorio o área, o de sus autoridades, o referente a la delimitación de sus fronteras y límites.
Los puntos de vista que se expresan en esa publicación no reflejan necesariamente los de la UICN.
Esta publicación ha sido posible gracias al financiamiento de los organismos internacionales de cooperación para el desarrollo de Suecia (SIDA), Noruega (NORAD), Dinamarca (DANIDA), Suiza (SDC) y Países Bajos (DGIS)
Publicado por: UICN, Gland, Suiza y Cambridge, Reino Unido
Derechos reservados: © 2004 Unión Internacional para la Conservación de la Naturaleza y de los Recursos Naturales
Se autoriza la reproducción de esta publicación con fines educativos y otros fines no comerciales sin permiso escrito previo de parte de quien detenta los derechos de autor con tal de que se mencione la fuente.
Se prohíbe reproducir esta publicación para venderla o para otros fines comerciales sin permiso escrito previo de quien detenta los derechos de autor.
Citación: Adrien, Marie-Helene, MacPherson, Nancy. Guía para la planificación y la conducción de las evaluaciones estratégicas de la UICN. UICN, Gland, Suiza y Cambridge, Reino Unido. iii & 53 pp.
ISBN: 2-8317-0872-9
Diseño de la cubierta: L'IV Communications, Chemin de la Brume 2, 1110 Morges
Fotografía de la cubierta: IUCN Photo Library © Jim Thorsell.
Diagramado por: Peter Hulm
Producido por: Iniciativa de Seguimiento y Evaluación de la UICN
Traducción al español: Amalia Thaler
Impreso por: SADAG Imprimerie, Bellegarde-sur-Valserine, Francia
Disponible en: [email protected]
Guía para las evaluaciones estratégicas de la UICN
i
Índice
Introducción 1
1 ¿Qué es una evaluación estratégica? 21.1 Definición y alcance 2
1.2 Propósito 2
1.3 Unidad de evaluación 2
1.4 Marco para la evaluación organizacional 3
1.5 ¿Qué motiva una evaluación estratégica y quién la inicia? 3
1.6 Características de un proceso de evaluación estratégica 3
1.7 Composición del equipo de evaluación estratégica 4
1.8 Recursos y marco temporal 4
1.9 Usuarios de los resultados 5
1.10 Limitaciones del proceso de evaluación estratégica 5
2. Planificar una Evaluación Estratégica 62.1 Términos de referencia 6
2.2 Definición de las cuestiones a estudiar 7
2.3 Utilización del marco para identificar aspectos y preguntas 7
2.4 Plantear las preguntas adecuadas 8
2.5 Establecer indicadores adecuados 9
2.6 Identificación de las fuentes de datos 10
2.7 ¿Qué métodos utilizar para recolectar datos? 11
2.8 Cómo determinar la composición del equipo de evaluación 14
2.9 Definir las funciones y responsabilidades de los miembros del equipo 14
2.10 Matriz de evaluación 15
2.11 Plan de trabajo/Cronograma de la evaluación 15
3. Recolectar los datos de manera eficaz 163.1 Desarrollar o adaptar las herramientas de recolección de datos 16
3.2 Utilizar una estrategia de difusión apropiada 16
3.3 Introducción de los datos de los cuestionarios 17
4. Efectuar un análisis adecuado de los datos 184.1 La importancia de la triangulación de los datos 18
4.2 Interpretación de los datos 18
4.3 Clasificación de los datos 19
4.4 Realización de una reunión de síntesis para analizar los datos recogidos 19
i
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
ii
La designación de entidades geográficas y la presentación del material en este libro no implican la expresión de ninguna opinión por parte de la UICN respecto a la condición jurídica de ningún país, territorio o área, o de sus autoridades, o referente a la delimitación de sus fronteras y límites.
Los puntos de vista que se expresan en esa publicación no reflejan necesariamente los de la UICN.
Esta publicación ha sido posible gracias al financiamiento de los organismos internacionales de cooperación para el desarrollo de Suecia (SIDA), Noruega (NORAD), Dinamarca (DANIDA), Suiza (SDC) y Países Bajos (DGIS)
Publicado por: UICN, Gland, Suiza y Cambridge, Reino Unido
Derechos reservados: © 2004 Unión Internacional para la Conservación de la Naturaleza y de los Recursos Naturales
Se autoriza la reproducción de esta publicación con fines educativos y otros fines no comerciales sin permiso escrito previo de parte de quien detenta los derechos de autor con tal de que se mencione la fuente.
Se prohíbe reproducir esta publicación para venderla o para otros fines comerciales sin permiso escrito previo de quien detenta los derechos de autor.
Citación: Adrien, Marie-Helene, MacPherson, Nancy. Guía para la planificación y la conducción de las evaluaciones estratégicas de la UICN. UICN, Gland, Suiza y Cambridge, Reino Unido. iii & 53 pp.
ISBN: 2-8317-0872-9
Diseño de la cubierta: L'IV Communications, Chemin de la Brume 2, 1110 Morges
Fotografía de la cubierta: IUCN Photo Library © Jim Thorsell.
Diagramado por: Peter Hulm
Producido por: Iniciativa de Seguimiento y Evaluación de la UICN
Traducción al español: Amalia Thaler
Impreso por: SADAG Imprimerie, Bellegarde-sur-Valserine, Francia
Disponible en: [email protected]
Guía para las evaluaciones estratégicas de la UICN
i
Índice
Introducción 1
1 ¿Qué es una evaluación estratégica? 21.1 Definición y alcance 2
1.2 Propósito 2
1.3 Unidad de evaluación 2
1.4 Marco para la evaluación organizacional 3
1.5 ¿Qué motiva una evaluación estratégica y quién la inicia? 3
1.6 Características de un proceso de evaluación estratégica 3
1.7 Composición del equipo de evaluación estratégica 4
1.8 Recursos y marco temporal 4
1.9 Usuarios de los resultados 5
1.10 Limitaciones del proceso de evaluación estratégica 5
2. Planificar una Evaluación Estratégica 62.1 Términos de referencia 6
2.2 Definición de las cuestiones a estudiar 7
2.3 Utilización del marco para identificar aspectos y preguntas 7
2.4 Plantear las preguntas adecuadas 8
2.5 Establecer indicadores adecuados 9
2.6 Identificación de las fuentes de datos 10
2.7 ¿Qué métodos utilizar para recolectar datos? 11
2.8 Cómo determinar la composición del equipo de evaluación 14
2.9 Definir las funciones y responsabilidades de los miembros del equipo 14
2.10 Matriz de evaluación 15
2.11 Plan de trabajo/Cronograma de la evaluación 15
3. Recolectar los datos de manera eficaz 163.1 Desarrollar o adaptar las herramientas de recolección de datos 16
3.2 Utilizar una estrategia de difusión apropiada 16
3.3 Introducción de los datos de los cuestionarios 17
4. Efectuar un análisis adecuado de los datos 184.1 La importancia de la triangulación de los datos 18
4.2 Interpretación de los datos 18
4.3 Clasificación de los datos 19
4.4 Realización de una reunión de síntesis para analizar los datos recogidos 19
i
Guía para las eva luac iones es t ra tég icas de la UICN
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
ii
Índice
5. Informar sobre los resultados de las evaluaciones estratégicas 205.1 Conozca a sus diversos públicos 20
5.2 Las bases de un buen informe escrito 21
5.3 Utilizar el informe para implementar cambios 21
5.4 Del informe a un plan de acción 21
5.5 Seguimiento eficaz del plan de acción 22
Figuras
Figura 2.1 Ejemplos de tipos de preguntas 9
Figura 2.2 Ejemplos de tipos de indicadores 10
Figura 2.3 Ventajas e inconvenientes de los métodos de recolección de datos 13
Figura 2.4 Ejemplo de matriz de evaluación 15
Figura 2.5 Formato posible para un plan de trabajo de una evaluación 15
Figura 2.6 Cómo obtener altos niveles de respuesta 17
Figura 2.7 Formato posible para un plan de acción 22
Apéndices
Apéndice I Identificar los aspectos del desempeño 23
Apéndice II Identificar los factores que afectan el desempeño 24
Apéndice III Ejemplo de matriz de evaluación utilizada en la evaluación estratégica de BRAO, 2002 27
Apéndice IV Utilización de técnicas de grupo para la recolección de datos 35
Apéndice V Utilización de entrevistas para la recolección de datos 39
Apéndice VI Utilización de cuestionarios para la recolección de datos 43
Apéndice VII Ejemplos de cuestionarios y protocolos de la UICN 50
Apéndice VIII Introducción de los datos de un cuestionario escalar en MS Excel 52
Guía para las evaluaciones estratégicas de la UICN
iii
Abreviaturas
BRAO Oficina Regional de la UICN para África Occidental
EARO Oficina Regional de la UICN para África Oriental
EMG
GPP
IDRC
Grupo de Dirección Ejecutiva
Grupo de Políticas y Programas
Centro Internacional de Investigaciones para el Desarrollo
S&E
TR
UICN
Seguimiento y Evaluación
Términos de Referencia
Unión Mundial para la Naturaleza
ii iii
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
ii
Índice
5. Informar sobre los resultados de las evaluaciones estratégicas 205.1 Conozca a sus diversos públicos 20
5.2 Las bases de un buen informe escrito 21
5.3 Utilizar el informe para implementar cambios 21
5.4 Del informe a un plan de acción 21
5.5 Seguimiento eficaz del plan de acción 22
Figuras
Figura 2.1 Ejemplos de tipos de preguntas 9
Figura 2.2 Ejemplos de tipos de indicadores 10
Figura 2.3 Ventajas e inconvenientes de los métodos de recolección de datos 13
Figura 2.4 Ejemplo de matriz de evaluación 15
Figura 2.5 Formato posible para un plan de trabajo de una evaluación 15
Figura 2.6 Cómo obtener altos niveles de respuesta 17
Figura 2.7 Formato posible para un plan de acción 22
Apéndices
Apéndice I Identificar los aspectos del desempeño 23
Apéndice II Identificar los factores que afectan el desempeño 24
Apéndice III Ejemplo de matriz de evaluación utilizada en la evaluación estratégica de BRAO, 2002 27
Apéndice IV Utilización de técnicas de grupo para la recolección de datos 35
Apéndice V Utilización de entrevistas para la recolección de datos 39
Apéndice VI Utilización de cuestionarios para la recolección de datos 43
Apéndice VII Ejemplos de cuestionarios y protocolos de la UICN 50
Apéndice VIII Introducción de los datos de un cuestionario escalar en MS Excel 52
Guía para las evaluaciones estratégicas de la UICN
iii
Abreviaturas
BRAO Oficina Regional de la UICN para África Occidental
EARO Oficina Regional de la UICN para África Oriental
EMG
GPP
IDRC
Grupo de Dirección Ejecutiva
Grupo de Políticas y Programas
Centro Internacional de Investigaciones para el Desarrollo
S&E
TR
UICN
Seguimiento y Evaluación
Términos de Referencia
Unión Mundial para la Naturaleza
ii iii
1
Guía para las evaluaciones estratégicas de la UICN
1
Introducción La UICN emprende evaluaciones estratégicas anuales en torno a temas y cuestiones vinculados con el desempeño de unidades como las Oficinas Regionales, Comisiones o Programas Temáticos Mundiales.
Este documento, basado en la experiencia acopiada desde 2001 en la conducción de evaluaciones estratégicas en la UICN, constituye una guía destinada al personal de Seguimiento y Evaluación (S&E) y a los directores de programas de la UICN, con miras a la planificación y la conducción de evaluaciones estratégicas. La guía brinda un cuadro general de las etapas necesarias en el proceso de evaluación y proporciona herramientas, ideas y consejos sobre "qué hacer" o "no olvidar". Presenta asimismo ejemplos de herramientas de recolección de datos (cuestionarios y protocolos de entrevista) utilizadas en el pasado, y que pueden adaptarse a evaluaciones futuras.
Esta guía pretende incorporar las experiencias en curso del personal y de los consultores de la UICN que realizan evaluaciones estratégicas. Por lo tanto, se actualizará periódicamente, teniendo en cuenta la retroalimentación y los comentarios de los miembros de los equipos de evaluación y de los directivos de la UICN.
La guía fue elaborada por Marie Helene Adrien y Simon Thibault de Universalia Management Group, con la colaboración de Nancy MacPherson, Coordinadora de la Iniciativa de Seguimiento y Evaluación de la UICN.
El texto central de la guía:
� aporta la definición de las evaluaciones estratégicas de la UICN;
� aclara su alcance y propósito;
� determina la composición del equipo de evaluación, los recursos y otras características generales de este tipo de evaluación; y
� describe las fases de un proceso de evaluación estratégica, lo cual incluye la planificación, la recolección de datos, el análisis de datos, el informe y la implementación de las recomendaciones.
Los apéndices incluyen:
� herramientas para facilitar la etapa de planificación de la evaluación, entre ellas, un ejemplo de marco de evaluación de unidades organizacionales, y una matriz de evaluación;
� consejos para preparar las herramientas de recolección de datos, utilizar algunos de los métodos más frecuentes de recopilación de datos y realizar presentaciones de los hallazgos; y
� ejemplos de herramientas de recolección de datos que pueden adaptarse a futuras evaluaciones.
iv
1
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
1
Introducción La UICN emprende evaluaciones estratégicas anuales en torno a temas y cuestiones vinculados con el desempeño de unidades como las Oficinas Regionales, Comisiones o Programas Temáticos Mundiales.
Este documento, basado en la experiencia acopiada desde 2001 en la conducción de evaluaciones estratégicas en la UICN, constituye una guía destinada al personal de Seguimiento y Evaluación (S&E) y a los directores de programas de la UICN, con miras a la planificación y la conducción de evaluaciones estratégicas. La guía brinda un cuadro general de las etapas necesarias en el proceso de evaluación y proporciona herramientas, ideas y consejos sobre "qué hacer" o "no olvidar". Presenta asimismo ejemplos de herramientas de recolección de datos (cuestionarios y protocolos de entrevista) utilizadas en el pasado, y que pueden adaptarse a evaluaciones futuras.
Esta guía pretende incorporar las experiencias en curso del personal y de los consultores de la UICN que realizan evaluaciones estratégicas. Por lo tanto, se actualizará periódicamente, teniendo en cuenta la retroalimentación y los comentarios de los miembros de los equipos de evaluación y de los directivos de la UICN.
La guía fue elaborada por Marie Helene Adrien y Simon Thibault de Universalia Management Group, con la colaboración de Nancy MacPherson, Coordinadora de la Iniciativa de Seguimiento y Evaluación de la UICN.
El texto central de la guía:
� aporta la definición de las evaluaciones estratégicas de la UICN;
� aclara su alcance y propósito;
� determina la composición del equipo de evaluación, los recursos y otras características generales de este tipo de evaluación; y
� describe las fases de un proceso de evaluación estratégica, lo cual incluye la planificación, la recolección de datos, el análisis de datos, el informe y la implementación de las recomendaciones.
Los apéndices incluyen:
� herramientas para facilitar la etapa de planificación de la evaluación, entre ellas, un ejemplo de marco de evaluación de unidades organizacionales, y una matriz de evaluación;
� consejos para preparar las herramientas de recolección de datos, utilizar algunos de los métodos más frecuentes de recopilación de datos y realizar presentaciones de los hallazgos; y
� ejemplos de herramientas de recolección de datos que pueden adaptarse a futuras evaluaciones.
iv
2
Guía para las eva luac iones es t ra tég icas de la UICN
3
Guía para las evaluaciones estratégicas de la UICN
2
1 ¿Qué es una evaluación estratégica?
1.1 Definición y alcance
Tal como se define en la Política de Evaluación aprobada por el Consejo de la UICN en 20011, una evaluación estratégica es una valoración o examen selectivo de un proyecto, programa, unidad organizacional o política emprendida a petición del Director General, del personal directivo o del Consejo de la UICN. Desde 2001, se ha emprendido una serie de evaluaciones estratégicas anuales; en un principio, de programas nacionales y regionales y, más recientemente, de programas mundiales y de Comisiones.
1.2 Propósito Una evaluación estratégica examina aspectos estratégicos clave relacionados con la razón de ser, pertinencia, eficacia, eficiencia y viabilidad financiera de una unidad, a fin de sacar conclusiones sobre su desempeño. Este tipo de evaluación se emprende a petición del Director General o del Director del Programa Mundial. Puede deberse a preocupaciones específicas en cuanto al desempeño de una unidad y a interrogantes planteados durante los ciclos anuales de programación y presupuesto.2 El objetivo de las evaluaciones estratégicas es valorar el desempeño y determinar áreas en las que es posible mejorar. Los resultados de la evaluación se utilizan para tomar decisiones relativas al futuro de una unidad organizacional: su razón de ser, ámbitos centrales de acción, contenido, localización, alcance, dirección y niveles de asignación de recursos. En este sentido, la evaluación estratégica se distingue de las evaluaciones técnicas profundizadas de los programas, por cuanto intenta responder a cuestiones estratégicas de un nivel más amplio y examina tanto el desempeño programático como el organizacional.3
1.3 Unidad de evaluación Las evaluaciones estratégicas de la UICN se centraron en un principio en los aspectos programáticos y organizacionales de las Oficinas Regionales de la UICN. Ahora bien, el enfoque y la metodología se están utilizando cada vez más para programas nacionales, programas temáticos mundiales, grandes proyectos y Comisiones. El marco para las evaluaciones estratégicas procura detectar problemas organizacionales que podrían afectar el desempeño global de la unidad, incluyendo la realización de su programa.
No obstante, debemos observar que, por lo general, no es posible evaluar todos los componentes de una Oficina Regional dentro del marco temporal y presupuestario del que dispone habitualmente la UICN para evaluaciones estratégicas. Muchas Oficinas Regionales incluyen diversos niveles, tales como la propia Oficina Regional, oficinas nacionales, oficinas de proyectos y programas temáticos nacionales y regionales.
A fin de optimizar la utilización de tiempo y recursos escasos, una evaluación estratégica debería centrarse en las cuestiones principales relativas al funcionamiento y desempeño globales del programa regional. Estas son los cuestiones que los directivos deben entender cabalmente para poder tomar decisiones con respecto a la orientación futura de la unidad.
1 Política de Evaluación de la UICN, aprobada por el Consejo de la UICN en su 55ª reunión, 28-30 octubre de 2001, p.5. 2 Política de Evaluación de la UICN, op. cit., p.5. 3 Iniciativa S&E de la UICN, Un marco para guiar las evaluaciones estratégicas en la UICN, borrador sometido a examen del DG y de los miembros de la dirección, diciembre de 2000, p.1.
Guía para las evaluaciones estratégicas de la UICN
3
1.4 Marco para la evaluación organizacional La UICN utiliza un marco y un modelo para la evaluación organizacional elaborados por el IDRC (Centro Internacional de Investigaciones para el Desarrollo) conjuntamente con Universalia en 1999. El marco proporciona al personal directivo de la UICN y al Consejo:
� un conjunto normalizado de aspectos y cuestiones relacionadas con el desempeño;
� un modo sistemático de recolectar datos a partir de diferentes partes interesadas a fin de extraer conclusiones, realizar valoraciones y tomar decisiones estratégicas de manera transparente y fundada; y
� un marco para informar acerca del desempeño a nivel organizacional.
Entre los elementos del marco figuran:
� un conjunto de aspectos claves relativos al desempeño, en los cuales se espera que una unidad organizacional alcance niveles más altos (pertinencia, eficacia, eficiencia, viabilidad financiera e impacto);
� un conjunto de factores claves – capacidad, motivación y contexto externo -que afectan el desempeño en cada una de dichas áreas;
� preguntas claves de evaluación relacionadas con dichas áreas; y
� un proceso transparente de recolección de datos y participación de las partes interesadas para responder a las preguntas claves, producir hallazgos y llegar a conclusiones sobre el desempeño de la unidad.4
El conjunto de aspectos y factores claves que inciden en el desempeño organizacional se describen en los Apéndices I y II.
1.5 ¿Qué motiva una evaluación estratégica y quién la inicia?
Entre las cuestiones que han dado generalmente lugar a evaluaciones estratégicas se encuentran las cuestiones o inquietudes relacionadas con el mandato, la viabilidad financiera o la localización de una oficina o de un programa, su relación con los miembros, donantes y otros socios. En estos casos, el personal directivo puede solicitar la realización de una evaluación estratégica, o el mismo Director Regional o Director de Programa pueden emprenderla para conocer la percepción de las principales partes interesadas acerca del desempeño de una Oficina.
1.6 Características de un proceso de evaluación estratégica Las evaluaciones estratégicas de la UICN se basan en los elementos de los procesos de evaluación interna por los pares. Si bien el primer objetivo de una evaluación estratégica es propiciar mejoras en el desempeño de la unidad en cuestión, un segundo propósito es fortalecer la capacidad de los directivos de la UICN para realizar evaluaciones y exámenes internos.
Los principios del proceso de evaluación comprenden los formulados en la Política de Evaluación de la UICN, entre los que se cuentan:
� apoyo a una cultura evaluativa – una manera de pensar y una manera de actuar;
� rendición de cuentas orientada a resultados – intentar mejorar la ejecución del trabajo de la UICN y el cumplimiento de su Misión;
4 Iniciativa S&E de la UICN, Un marco para guiar las evaluaciones estratégicas en la UICN, op. cit., p.1.
2 3
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
2
1 ¿Qué es una evaluación estratégica?
1.1 Definición y alcance
Tal como se define en la Política de Evaluación aprobada por el Consejo de la UICN en 20011, una evaluación estratégica es una valoración o examen selectivo de un proyecto, programa, unidad organizacional o política emprendida a petición del Director General, del personal directivo o del Consejo de la UICN. Desde 2001, se ha emprendido una serie de evaluaciones estratégicas anuales; en un principio, de programas nacionales y regionales y, más recientemente, de programas mundiales y de Comisiones.
1.2 Propósito Una evaluación estratégica examina aspectos estratégicos clave relacionados con la razón de ser, pertinencia, eficacia, eficiencia y viabilidad financiera de una unidad, a fin de sacar conclusiones sobre su desempeño. Este tipo de evaluación se emprende a petición del Director General o del Director del Programa Mundial. Puede deberse a preocupaciones específicas en cuanto al desempeño de una unidad y a interrogantes planteados durante los ciclos anuales de programación y presupuesto.2 El objetivo de las evaluaciones estratégicas es valorar el desempeño y determinar áreas en las que es posible mejorar. Los resultados de la evaluación se utilizan para tomar decisiones relativas al futuro de una unidad organizacional: su razón de ser, ámbitos centrales de acción, contenido, localización, alcance, dirección y niveles de asignación de recursos. En este sentido, la evaluación estratégica se distingue de las evaluaciones técnicas profundizadas de los programas, por cuanto intenta responder a cuestiones estratégicas de un nivel más amplio y examina tanto el desempeño programático como el organizacional.3
1.3 Unidad de evaluación Las evaluaciones estratégicas de la UICN se centraron en un principio en los aspectos programáticos y organizacionales de las Oficinas Regionales de la UICN. Ahora bien, el enfoque y la metodología se están utilizando cada vez más para programas nacionales, programas temáticos mundiales, grandes proyectos y Comisiones. El marco para las evaluaciones estratégicas procura detectar problemas organizacionales que podrían afectar el desempeño global de la unidad, incluyendo la realización de su programa.
No obstante, debemos observar que, por lo general, no es posible evaluar todos los componentes de una Oficina Regional dentro del marco temporal y presupuestario del que dispone habitualmente la UICN para evaluaciones estratégicas. Muchas Oficinas Regionales incluyen diversos niveles, tales como la propia Oficina Regional, oficinas nacionales, oficinas de proyectos y programas temáticos nacionales y regionales.
A fin de optimizar la utilización de tiempo y recursos escasos, una evaluación estratégica debería centrarse en las cuestiones principales relativas al funcionamiento y desempeño globales del programa regional. Estas son los cuestiones que los directivos deben entender cabalmente para poder tomar decisiones con respecto a la orientación futura de la unidad.
1 Política de Evaluación de la UICN, aprobada por el Consejo de la UICN en su 55ª reunión, 28-30 octubre de 2001, p.5. 2 Política de Evaluación de la UICN, op. cit., p.5. 3 Iniciativa S&E de la UICN, Un marco para guiar las evaluaciones estratégicas en la UICN, borrador sometido a examen del DG y de los miembros de la dirección, diciembre de 2000, p.1.
Guía para las evaluaciones estratégicas de la UICN
3
1.4 Marco para la evaluación organizacional La UICN utiliza un marco y un modelo para la evaluación organizacional elaborados por el IDRC (Centro Internacional de Investigaciones para el Desarrollo) conjuntamente con Universalia en 1999. El marco proporciona al personal directivo de la UICN y al Consejo:
� un conjunto normalizado de aspectos y cuestiones relacionadas con el desempeño;
� un modo sistemático de recolectar datos a partir de diferentes partes interesadas a fin de extraer conclusiones, realizar valoraciones y tomar decisiones estratégicas de manera transparente y fundada; y
� un marco para informar acerca del desempeño a nivel organizacional.
Entre los elementos del marco figuran:
� un conjunto de aspectos claves relativos al desempeño, en los cuales se espera que una unidad organizacional alcance niveles más altos (pertinencia, eficacia, eficiencia, viabilidad financiera e impacto);
� un conjunto de factores claves – capacidad, motivación y contexto externo -que afectan el desempeño en cada una de dichas áreas;
� preguntas claves de evaluación relacionadas con dichas áreas; y
� un proceso transparente de recolección de datos y participación de las partes interesadas para responder a las preguntas claves, producir hallazgos y llegar a conclusiones sobre el desempeño de la unidad.4
El conjunto de aspectos y factores claves que inciden en el desempeño organizacional se describen en los Apéndices I y II.
1.5 ¿Qué motiva una evaluación estratégica y quién la inicia?
Entre las cuestiones que han dado generalmente lugar a evaluaciones estratégicas se encuentran las cuestiones o inquietudes relacionadas con el mandato, la viabilidad financiera o la localización de una oficina o de un programa, su relación con los miembros, donantes y otros socios. En estos casos, el personal directivo puede solicitar la realización de una evaluación estratégica, o el mismo Director Regional o Director de Programa pueden emprenderla para conocer la percepción de las principales partes interesadas acerca del desempeño de una Oficina.
1.6 Características de un proceso de evaluación estratégica Las evaluaciones estratégicas de la UICN se basan en los elementos de los procesos de evaluación interna por los pares. Si bien el primer objetivo de una evaluación estratégica es propiciar mejoras en el desempeño de la unidad en cuestión, un segundo propósito es fortalecer la capacidad de los directivos de la UICN para realizar evaluaciones y exámenes internos.
Los principios del proceso de evaluación comprenden los formulados en la Política de Evaluación de la UICN, entre los que se cuentan:
� apoyo a una cultura evaluativa – una manera de pensar y una manera de actuar;
� rendición de cuentas orientada a resultados – intentar mejorar la ejecución del trabajo de la UICN y el cumplimiento de su Misión;
4 Iniciativa S&E de la UICN, Un marco para guiar las evaluaciones estratégicas en la UICN, op. cit., p.1.
4
Guía para las eva luac iones es t ra tég icas de la UICN
5
Guía para las evaluaciones estratégicas de la UICN
4
� apropiación - involucrarse en el proceso de evaluación y apropiárselo contribuye a una mejor planificación, toma de decisión y formulación de estrategias a todos los niveles;
� control de calidad – aplicar las normas de mejores prácticas en materia de evaluación;
� trabajo en asociación con las diversas partes interesadas - los afectados por el resultado de una evaluación tienen derecho a participar en el proceso;
� transparencia – claridad acerca del propósito, preguntas y usos probables de los resultados de la evaluación;
� accesibilidad – el personal y demás partes interesadas deben poder acceder a los resultados de las evaluaciones;
� ética – tener la debida consideración hacia las personas involucradas en la evaluación o afectadas por ella;
� imparcialidad – ser justos al valorar los puntos fuertes y débiles, evitando distorsiones provocadas por sentimientos y sesgos personales;
� credibilidad – el diseño, la metodología y la recolección de datos debe basarse en las mejores prácticas de evaluación reconocidas internacionalmente;
� utilidad – satisfacer las necesidades de información de los usuarios.
1.7 Composición del equipo de evaluación estratégica Teniendo en cuenta la experiencia de evaluación por los pares, los equipos de evaluación estratégica de la UICN generalmente incluyen un directivo de nivel superior como jefe de evaluación, un director de programa técnico de nivel medio de la UICN y un consultor externo. Generalmente, el equipo es pequeño (no más de tres personas). Sin embargo, puede ser mayor, según el tamaño de la región o el programa, el alcance de la recolección de datos y la complejidad de los temas. Por ejemplo, en la evaluación estratégica de BRAO (Oficina Regional de la UICN para África Occidental), se incorporaron al equipo de evaluación directivos superiores de la UICN y expertos de otras regiones para contribuir en partes específicas de la evaluación y fomentar los intercambios interregionales.
El personal de Seguimiento y Evaluación (S&E) y consultores colaboran en el proceso, garantizando la solidez del mandato o términos de referencia (TR) y de la metodología, incluyendo el diseño de las herramientas de recolección de datos y los protocolos de entrevista, y asesorando al equipo de evaluación en distintos aspectos del proceso evaluativo cuando es necesario. En ciertos casos, el S&E colaborará en la recolección de datos.
Las evaluaciones deben contar con el respaldo cabal de la autoridad del cuerpo directivo superior de la UICN, a fin de garantizar que las recomendaciones sean dignas de confianza y puestas en práctica. Los miembros del equipo de evaluación deberían ser directivos de nivel superior que inspiren respeto y credibilidad a los diversos componentes de los programas de la UICN (regiones, Comisiones, componentes temáticos) y al Consejo de la Unión. Los consultores externos pueden igualmente desempeñar un papel importante en los equipos evaluadores, aportando una visión más independiente en casos en que los donantes requieren una valoración externa para responder a inquietudes específicas sobre el desempeño de una oficina regional o de un programa temático mundial, y colaborando en la recolección y el análisis de datos.
1.8 Recursos y marco temporal La evaluación es algo relativamente nuevo y en desarrollo en términos de apoyo institucional y de asignación de recursos. Cada año se dedica a las evaluaciones estratégicas un nivel de recursos modesto.
Guía para las evaluaciones estratégicas de la UICN
5
Un presupuesto típico para evaluación estratégica se sitúa entre 30.000 y 50.000 francos suizos, según el alcance y la extensión geográfica del programa. Esto cubre los costos directos de la evaluación (viajes, gastos de terreno, metodología de S&E, apoyo de datos y traducción), pero no incluye el costo en términos de dedicación horaria del personal de la UICN. Este es el nivel de recursos mínimos requerido para efectuar una evaluación adecuada y aceptable de una oficina regional o de un programa temático mundial.
Para implementar una evaluación estratégica se requieren, como mínimo, tres a cuatro semanas, incluyendo la recolección intensiva de datos, el trabajo de campo y la organización. Para planificar, implementar, conducir e informar sobre una evaluación son necesarias entre seis semanas y cuatro meses.
Los directivos de la UICN miembros de un equipo evaluador dedican un esfuerzo significativo a este ejercicio y deben, por lo tanto, estar libres de otros compromisos. A menudo, el personal programático de nivel medio y los consultores externos se abocan más al trabajo de campo que los mandos superiores que dirigen el equipo de evaluación, ya que las responsabilidades de estos últimos limitan su tiempo disponible para el trabajo de campo.
Una de las limitaciones principales del proceso de evaluación por los pares en las evaluaciones estratégicas de la UICN es que los directores no cuentan con suficiente respaldo en materia de recursos humanos que les permita delegar responsabilidades y poder dedicarse adecuadamente a participar en un equipo de evaluación estratégica.
1.9 Usuarios de los resultados Existe una gama de usuarios y de usos de una evaluación estratégica. Entre los usuarios se encuentran:
� El Director General de la UICN, el Consejo y/o la Junta Directiva del Consejo de la UICN, que utilizan las evaluaciones para tomar decisiones relacionadas con la razón de ser, los ámbitos centrales de acción, el contenido, la localización, la orientación y la viabilidad de las unidades de la UICN, y para preparar el informe anual sobre actuación y resultados presentado ante el Consejo de la UICN;
� los directivos de nivel superior de la UICN, en particular el Director General y el Director del Programa Mundial, para la supervisión periódica del desempeño de las Oficinas y programas de la UICN en el mundo entero;
� el Encargado, Director o Coordinador de la unidad evaluada, para mejorar los sistemas de gestión y de programas y el logro de resultados;
� el personal de la unidad, para conocer mejor el desempeño de la unidad y mejorar el logro de resultados; y
� los Miembros de la Unión, en su función de gobernanza en tanto supervisores del Programa Mundial y del desempeño de la Unión, en ocasión de los Congresos Mundiales.5
Dada la cantidad de usuarios posibles, es importante aclarar el propósito de la evaluación específica que se lleva a cabo (entender qué la motivó) y los destinatarios (quién la encomendó y quién será el usuario principal). Estos dos elementos permitirán determinar el objeto del estudio, su tono, alcance y el nivel de detalle necesario.
1.10 Limitaciones del proceso de evaluación estratégica Tal y cono se implementa actualmente en la UICN, el proceso de evaluación estratégica presenta varias limitaciones:
5 Ibid, pp.1-2.
4 5
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
4
� apropiación - involucrarse en el proceso de evaluación y apropiárselo contribuye a una mejor planificación, toma de decisión y formulación de estrategias a todos los niveles;
� control de calidad – aplicar las normas de mejores prácticas en materia de evaluación;
� trabajo en asociación con las diversas partes interesadas - los afectados por el resultado de una evaluación tienen derecho a participar en el proceso;
� transparencia – claridad acerca del propósito, preguntas y usos probables de los resultados de la evaluación;
� accesibilidad – el personal y demás partes interesadas deben poder acceder a los resultados de las evaluaciones;
� ética – tener la debida consideración hacia las personas involucradas en la evaluación o afectadas por ella;
� imparcialidad – ser justos al valorar los puntos fuertes y débiles, evitando distorsiones provocadas por sentimientos y sesgos personales;
� credibilidad – el diseño, la metodología y la recolección de datos debe basarse en las mejores prácticas de evaluación reconocidas internacionalmente;
� utilidad – satisfacer las necesidades de información de los usuarios.
1.7 Composición del equipo de evaluación estratégica Teniendo en cuenta la experiencia de evaluación por los pares, los equipos de evaluación estratégica de la UICN generalmente incluyen un directivo de nivel superior como jefe de evaluación, un director de programa técnico de nivel medio de la UICN y un consultor externo. Generalmente, el equipo es pequeño (no más de tres personas). Sin embargo, puede ser mayor, según el tamaño de la región o el programa, el alcance de la recolección de datos y la complejidad de los temas. Por ejemplo, en la evaluación estratégica de BRAO (Oficina Regional de la UICN para África Occidental), se incorporaron al equipo de evaluación directivos superiores de la UICN y expertos de otras regiones para contribuir en partes específicas de la evaluación y fomentar los intercambios interregionales.
El personal de Seguimiento y Evaluación (S&E) y consultores colaboran en el proceso, garantizando la solidez del mandato o términos de referencia (TR) y de la metodología, incluyendo el diseño de las herramientas de recolección de datos y los protocolos de entrevista, y asesorando al equipo de evaluación en distintos aspectos del proceso evaluativo cuando es necesario. En ciertos casos, el S&E colaborará en la recolección de datos.
Las evaluaciones deben contar con el respaldo cabal de la autoridad del cuerpo directivo superior de la UICN, a fin de garantizar que las recomendaciones sean dignas de confianza y puestas en práctica. Los miembros del equipo de evaluación deberían ser directivos de nivel superior que inspiren respeto y credibilidad a los diversos componentes de los programas de la UICN (regiones, Comisiones, componentes temáticos) y al Consejo de la Unión. Los consultores externos pueden igualmente desempeñar un papel importante en los equipos evaluadores, aportando una visión más independiente en casos en que los donantes requieren una valoración externa para responder a inquietudes específicas sobre el desempeño de una oficina regional o de un programa temático mundial, y colaborando en la recolección y el análisis de datos.
1.8 Recursos y marco temporal La evaluación es algo relativamente nuevo y en desarrollo en términos de apoyo institucional y de asignación de recursos. Cada año se dedica a las evaluaciones estratégicas un nivel de recursos modesto.
Guía para las evaluaciones estratégicas de la UICN
5
Un presupuesto típico para evaluación estratégica se sitúa entre 30.000 y 50.000 francos suizos, según el alcance y la extensión geográfica del programa. Esto cubre los costos directos de la evaluación (viajes, gastos de terreno, metodología de S&E, apoyo de datos y traducción), pero no incluye el costo en términos de dedicación horaria del personal de la UICN. Este es el nivel de recursos mínimos requerido para efectuar una evaluación adecuada y aceptable de una oficina regional o de un programa temático mundial.
Para implementar una evaluación estratégica se requieren, como mínimo, tres a cuatro semanas, incluyendo la recolección intensiva de datos, el trabajo de campo y la organización. Para planificar, implementar, conducir e informar sobre una evaluación son necesarias entre seis semanas y cuatro meses.
Los directivos de la UICN miembros de un equipo evaluador dedican un esfuerzo significativo a este ejercicio y deben, por lo tanto, estar libres de otros compromisos. A menudo, el personal programático de nivel medio y los consultores externos se abocan más al trabajo de campo que los mandos superiores que dirigen el equipo de evaluación, ya que las responsabilidades de estos últimos limitan su tiempo disponible para el trabajo de campo.
Una de las limitaciones principales del proceso de evaluación por los pares en las evaluaciones estratégicas de la UICN es que los directores no cuentan con suficiente respaldo en materia de recursos humanos que les permita delegar responsabilidades y poder dedicarse adecuadamente a participar en un equipo de evaluación estratégica.
1.9 Usuarios de los resultados Existe una gama de usuarios y de usos de una evaluación estratégica. Entre los usuarios se encuentran:
� El Director General de la UICN, el Consejo y/o la Junta Directiva del Consejo de la UICN, que utilizan las evaluaciones para tomar decisiones relacionadas con la razón de ser, los ámbitos centrales de acción, el contenido, la localización, la orientación y la viabilidad de las unidades de la UICN, y para preparar el informe anual sobre actuación y resultados presentado ante el Consejo de la UICN;
� los directivos de nivel superior de la UICN, en particular el Director General y el Director del Programa Mundial, para la supervisión periódica del desempeño de las Oficinas y programas de la UICN en el mundo entero;
� el Encargado, Director o Coordinador de la unidad evaluada, para mejorar los sistemas de gestión y de programas y el logro de resultados;
� el personal de la unidad, para conocer mejor el desempeño de la unidad y mejorar el logro de resultados; y
� los Miembros de la Unión, en su función de gobernanza en tanto supervisores del Programa Mundial y del desempeño de la Unión, en ocasión de los Congresos Mundiales.5
Dada la cantidad de usuarios posibles, es importante aclarar el propósito de la evaluación específica que se lleva a cabo (entender qué la motivó) y los destinatarios (quién la encomendó y quién será el usuario principal). Estos dos elementos permitirán determinar el objeto del estudio, su tono, alcance y el nivel de detalle necesario.
1.10 Limitaciones del proceso de evaluación estratégica Tal y cono se implementa actualmente en la UICN, el proceso de evaluación estratégica presenta varias limitaciones:
5 Ibid, pp.1-2.
6
Guía para las eva luac iones es t ra tég icas de la UICN
7
Guía para las evaluaciones estratégicas de la UICN
6
� Los beneficios del proceso de evaluación por los pares en lo que hace a la creación de capacidades se ven a menudo limitados por el escaso tiempo de que disponen los directivos de la UICN a cargo de la evaluación para participar plenamente en los procesos evaluativos y, en menor medida aún, en las sesiones de formación y asesoramiento que les permitirían incrementar sus competencias evaluativas.
� El alcance de la recolección y análisis de datos se ve limitado por la escasez de tiempo y de recursos disponibles para emprender evaluaciones. Si bien el S&E intenta garantizar que la estrategia de recolección de datos sea representativa de todas las partes directamente interesadas (personal, miembros, socios, donantes) y válida en cuanto al tamaño, ello es sumamente difícil en regiones que cuentan con cientos de miembros y múltiples idiomas, y en las que debe realizarse la evaluación en un breve lapso.
� A menudo se considera a las evaluaciones internas y a las autoevaluaciones como menos independientes y menos objetivas que las evaluaciones externas. Se trata de una limitación inherente a las evaluaciones internas y no es específica de las evaluaciones estratégicas de la UICN.
2. Planificar una Evaluación Estratégica Una evaluación estratégica comprende cinco etapas principales: planificación (llamada igualmente fase preparatoria), recolección de datos, análisis de datos, informe e implementación de los cambios recomendados. Este capítulo trata de la primera etapa.
Una vez que se ha tomado la decisión de pedir una evaluación, comienza la etapa de planificación. Una buena planificación es crucial para el éxito de la evaluación estratégica. La planificación de una evaluación debería abarcar los elementos que se mencionan más abajo. No se trata de elementos prescriptivos, sino de aspectos que deben considerarse a fin de facilitar las etapas subsiguientes y garantizar una evaluación completa y exitosa. Los siguientes elementos son elaborados habitualmente por el personal de S&E en consulta con quienes solicitaron la evaluación y con los directivos de la unidad evaluada:
� términos de referencia (mandato);
� una matriz de evaluación, que incluye los aspectos a evaluar, las principales preguntas y las fuentes de datos para responder a las preguntas;
� métodos y herramientas apropiados para acopiar datos;
� composición del equipo de evaluación;
� funciones y responsabilidades de los miembros del equipo evaluador;
� gestión de la evaluación; y
� cronograma o plan de trabajo para el proceso evaluativo.
2.1 Términos de referencia Los términos de referencia (TR) proporcionan los parámetros de la evaluación. Los contenidos fundamentales que se recomiendan para los TR incluyen (pero no se limitan a) los siguientes:
� contexto de la evaluación,
� razón y propósito de la evaluación,
� temas y preguntas de la evaluación,
Guía para las evaluaciones estratégicas de la UICN
7
� principales partes interesadas,
� metodología propuesta,
� equipo de evaluación,
� plan de trabajo/cronograma,
� esfuerzo requerido de cada miembro del equipo de evaluación,
� costos estimados,
� apéndices (incluyendo la matriz de evaluación)
2.2 Definición de las cuestiones a estudiar Los directivos encargan evaluaciones estratégicas a fin de responder a preguntas e inquietudes vinculadas con la pertinencia, eficacia, viabilidad financiera, localización de una unidad, etc. Al elaborar los términos de referencia y la matriz de evaluación, el personal de S&E y el equipo de evaluación deberían aclarar, junto con los directivos, cuáles son las aspectos principales que se han de examinar, para asegurarse de que se entiendan bien los temas e inquietudes principales y que una evaluación sea la herramienta más apropiada a tal fin. Si las inquietudes de los directivos están más bien vinculadas a cuestiones de gestión y dirección, una evaluación de la actuación del personal puede resultar un instrumento más apropiado que una evaluación estratégica.
2.3 Utilización del marco para identificar aspectos y preguntas La evaluación estratégica examina el desempeño tanto organizacional como programático. El marco para la evaluación del desempeño organizacional, que se expone en el capítulo 1.4, ayuda a entender ambas dimensiones, permitiendo visualizar los elementos de la actuación organizacional e identificar los aspectos de desempeño y los diversos factores que afectan a éste. Los Apéndices I y II incluyen un marco adaptado a la UICN y elaborado a partir del marco para la evaluación organizacional de IDRC /Universalia.
Desempeño organizacional
El equipo debe identificar los aspectos de desempeño organizacional esenciales para valorar la actuación de la unidad. La UICN recomienda a los directivos que encargan evaluaciones tomar en cuenta los criterios de eficacia, eficiencia, pertinencia, viabilidad financiera e impacto, considerados en general como cuestiones clave en cuanto al desempeño de una unidad organizacional. El Apéndice I explica cómo pueden estimarse estos factores en el contexto de la UICN y ofrece ejemplos del tipo de preguntas que pueden formularse para cada uno de ellos. De modo general, dichos términos pueden entenderse de la siguiente manera:
� eficacia: medida en que la unidad de la UICN puede realizar su misión y lograr sus objetivos;
� eficiencia: grado en que la unidad de la UICN optimiza el uso de sus recursos para lograr sus metas y objetivos;
� pertinencia: medida en que la misión, los objetivos, los programas y los proyectos de una unidad de la UICN siguen siendo válidos para sus principales constituyentes y partes interesadas;
� viabilidad financiera: capacidad de la unidad de la UICN para procurarse un aporte diversificado de recursos financieros; y
� impacto: efectos intencionales o no intencionales, internos y externos a la unidad de la UICN, resultantes de las actividades de la unidad.
6 7
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
6
� Los beneficios del proceso de evaluación por los pares en lo que hace a la creación de capacidades se ven a menudo limitados por el escaso tiempo de que disponen los directivos de la UICN a cargo de la evaluación para participar plenamente en los procesos evaluativos y, en menor medida aún, en las sesiones de formación y asesoramiento que les permitirían incrementar sus competencias evaluativas.
� El alcance de la recolección y análisis de datos se ve limitado por la escasez de tiempo y de recursos disponibles para emprender evaluaciones. Si bien el S&E intenta garantizar que la estrategia de recolección de datos sea representativa de todas las partes directamente interesadas (personal, miembros, socios, donantes) y válida en cuanto al tamaño, ello es sumamente difícil en regiones que cuentan con cientos de miembros y múltiples idiomas, y en las que debe realizarse la evaluación en un breve lapso.
� A menudo se considera a las evaluaciones internas y a las autoevaluaciones como menos independientes y menos objetivas que las evaluaciones externas. Se trata de una limitación inherente a las evaluaciones internas y no es específica de las evaluaciones estratégicas de la UICN.
2. Planificar una Evaluación Estratégica Una evaluación estratégica comprende cinco etapas principales: planificación (llamada igualmente fase preparatoria), recolección de datos, análisis de datos, informe e implementación de los cambios recomendados. Este capítulo trata de la primera etapa.
Una vez que se ha tomado la decisión de pedir una evaluación, comienza la etapa de planificación. Una buena planificación es crucial para el éxito de la evaluación estratégica. La planificación de una evaluación debería abarcar los elementos que se mencionan más abajo. No se trata de elementos prescriptivos, sino de aspectos que deben considerarse a fin de facilitar las etapas subsiguientes y garantizar una evaluación completa y exitosa. Los siguientes elementos son elaborados habitualmente por el personal de S&E en consulta con quienes solicitaron la evaluación y con los directivos de la unidad evaluada:
� términos de referencia (mandato);
� una matriz de evaluación, que incluye los aspectos a evaluar, las principales preguntas y las fuentes de datos para responder a las preguntas;
� métodos y herramientas apropiados para acopiar datos;
� composición del equipo de evaluación;
� funciones y responsabilidades de los miembros del equipo evaluador;
� gestión de la evaluación; y
� cronograma o plan de trabajo para el proceso evaluativo.
2.1 Términos de referencia Los términos de referencia (TR) proporcionan los parámetros de la evaluación. Los contenidos fundamentales que se recomiendan para los TR incluyen (pero no se limitan a) los siguientes:
� contexto de la evaluación,
� razón y propósito de la evaluación,
� temas y preguntas de la evaluación,
Guía para las evaluaciones estratégicas de la UICN
7
� principales partes interesadas,
� metodología propuesta,
� equipo de evaluación,
� plan de trabajo/cronograma,
� esfuerzo requerido de cada miembro del equipo de evaluación,
� costos estimados,
� apéndices (incluyendo la matriz de evaluación)
2.2 Definición de las cuestiones a estudiar Los directivos encargan evaluaciones estratégicas a fin de responder a preguntas e inquietudes vinculadas con la pertinencia, eficacia, viabilidad financiera, localización de una unidad, etc. Al elaborar los términos de referencia y la matriz de evaluación, el personal de S&E y el equipo de evaluación deberían aclarar, junto con los directivos, cuáles son las aspectos principales que se han de examinar, para asegurarse de que se entiendan bien los temas e inquietudes principales y que una evaluación sea la herramienta más apropiada a tal fin. Si las inquietudes de los directivos están más bien vinculadas a cuestiones de gestión y dirección, una evaluación de la actuación del personal puede resultar un instrumento más apropiado que una evaluación estratégica.
2.3 Utilización del marco para identificar aspectos y preguntas La evaluación estratégica examina el desempeño tanto organizacional como programático. El marco para la evaluación del desempeño organizacional, que se expone en el capítulo 1.4, ayuda a entender ambas dimensiones, permitiendo visualizar los elementos de la actuación organizacional e identificar los aspectos de desempeño y los diversos factores que afectan a éste. Los Apéndices I y II incluyen un marco adaptado a la UICN y elaborado a partir del marco para la evaluación organizacional de IDRC /Universalia.
Desempeño organizacional
El equipo debe identificar los aspectos de desempeño organizacional esenciales para valorar la actuación de la unidad. La UICN recomienda a los directivos que encargan evaluaciones tomar en cuenta los criterios de eficacia, eficiencia, pertinencia, viabilidad financiera e impacto, considerados en general como cuestiones clave en cuanto al desempeño de una unidad organizacional. El Apéndice I explica cómo pueden estimarse estos factores en el contexto de la UICN y ofrece ejemplos del tipo de preguntas que pueden formularse para cada uno de ellos. De modo general, dichos términos pueden entenderse de la siguiente manera:
� eficacia: medida en que la unidad de la UICN puede realizar su misión y lograr sus objetivos;
� eficiencia: grado en que la unidad de la UICN optimiza el uso de sus recursos para lograr sus metas y objetivos;
� pertinencia: medida en que la misión, los objetivos, los programas y los proyectos de una unidad de la UICN siguen siendo válidos para sus principales constituyentes y partes interesadas;
� viabilidad financiera: capacidad de la unidad de la UICN para procurarse un aporte diversificado de recursos financieros; y
� impacto: efectos intencionales o no intencionales, internos y externos a la unidad de la UICN, resultantes de las actividades de la unidad.
8
Guía para las eva luac iones es t ra tég icas de la UICN
9
Guía para las evaluaciones estratégicas de la UICN
8
Para explorar más ampliamente las cuestiones relativas al desempeño, el equipo de evaluación puede analizar tres factores que tienen un profundo impacto sobre la actuación organizacional. En primer lugar, la capacidad de la unidad, determinada por su orientación estratégica, sus recursos humanos, su gestión financiera, sus procesos organizacionales, su estructura y sus vínculos institucionales. En segundo lugar, la motivación de los miembros de la unidad, que depende de factores tales como la historia, la misión, la cultura y los incentivos y recompensas que ofrecen la unidad y la organización en su conjunto. Finalmente, el contexto externo de la unidad, conformado por el entorno político, económico, tecnológico, sociocultural, administrativo y jurídico, así como por las partes interesadas externas. El Apéndice II propone modalidades para contemplar estos aspectos en el contexto de la UICN.
Desempeño programático
A nivel del programa, el equipo de evaluación debería examinar más atentamente una selección de operaciones del proyecto y/o programa de la unidad relativas a los temas de conservación de la biodiversidad y desarrollo sostenible. Si bien una evaluación estratégica no puede realizar una evaluación técnica programática en profundidad, puede escoger una muestra de los resultados de los programas, comparar la cartera de programas con el análisis de situación a fin de detectar lagunas significativas en la programación, y puede examinar los resultados de las evaluaciones de proyectos y programas. El equipo de evaluación debería concentrarse en los programas y proyectos más importantes para la región, y en aquellos que plantean los mayores riesgos a la UICN (en términos financieros, programáticos o en cuanto a su imagen y prestigio).
2.4 Plantear las preguntas adecuadas Una vez que se han aclarado los aspectos de desempeño que se han de evaluar, el equipo evaluador debe definir las preguntas principales acerca de tales aspectos. Las preguntas deberían poner de relieve áreas que requieren especial atención para analizar correctamente el aspecto en cuestión. Se trata de una tarea muy importante. Si se plantean las preguntas adecuadas, se facilitará en gran medida la definición de los indicadores y la recolección de datos. Y, lo que es más importante, se habrá permitido que el equipo aborde las cuestiones de manera apropiada.
Al empezar a identificar las preguntas principales, tenga en cuenta que existen diferentes tipos de preguntas – conocidas como descriptivas, normativas, o preguntas sobre el impacto – con derivaciones diferentes para sus métodos de recolección de datos.
� Preguntas descriptivas: Estas preguntas solicitan información descriptiva sobre situaciones o acontecimientos específicos. Las respuestas describen lo que está sucediendo en ese momento.
� Preguntas normativas: Estas preguntas implican comparar un resultado observado con una norma establecida o un nivel de desempeño esperado. Las respuestas describen lo que se debería hacer.
� Preguntas sobre el impacto: Estas preguntas analizan si las condiciones o sucesos observados pueden atribuirse a acciones del programa. Las respuestas describen relaciones de causa y efecto.6
En la mayor parte de los casos, una combinación de estos tipos de preguntas le ayudará a obtener la información necesaria para valorar el aspecto de desempeño concernido.
En el cuadro siguiente se presenta ejemplos de preguntas relacionadas con la cuestión de la eficiencia. Al redactar estas preguntas, debería usted tener siempre en cuenta la información que necesita para echar luz sobre los aspectos de desempeño. Los Apéndices I y II brindan ejemplos de preguntas claves con respecto a los cinco aspectos del desempeño y a los factores que afectan a este último, mencionados más arriba.
6 Ibid, p.21.
Guía para las evaluaciones estratégicas de la UICN
9
Figura 2.1 Ejemplos de tipos de preguntas
ASPECTO PREGUNTAS CLAVE TIPO DE PREGUNTA
¿Cómo se asignaron los fondos este año?
Pregunta descriptiva
¿Se utilizaron los procedimientos presupuestales normales?
Pregunta normativa
Uso eficiente de los recursos
¿El presupuesto previsto fue adecuado para las necesidades de la organización?
Pregunta sobre el impacto
Según los recursos de que se disponga para la evaluación, puede ser útil priorizar las preguntas ideadas. Para ello, se pueden tomar en consideración los criterios siguientes:
� si se puede responder o no a la pregunta con los recursos disponibles;
� la importancia de responder a esta pregunta en particular, dado el objetivo general de la evaluación; y
� establecer un equilibrio entre las preguntas correspondientes a los intereses o prioridades de las diversas partes interesadas.
El objetivo es elaborar preguntas a las que, de manera realista, se pueda responder, dentro del alcance y los límites de la evaluación, en particular, las que resultarán más útiles a las principales partes interesadas. Las preguntas a las que no se necesita responder o para las cuales no se cuenta con los medios de hacerlo, deben abandonarse. Es útil recordar la regla que distingue entre lo que "es necesario saber" y lo que "nos agradaría saber".
2.5 Establecer indicadores adecuados Un indicador es un instrumento de medición que permite precisar y medir un concepto. Es un factor o variable cuantitativo o cualitativo que proporciona un medio simple y fiable para medir los logros, o ayudar a evaluar el desempeño. Los indicadores aclaran también qué tipo de información necesitará y las preguntas clave para la evaluación.
� Los indicadores cuantitativos son “representaciones numéricas” de un concepto (por ejemplo, número de personas de la UICN que reciben capacitación en un taller sobre gestión de humedales).7
� Los indicadores cualitativos son menos tangibles y generalmente representan la opinión o la percepción de las personas en una situación dada (por ejemplo, las percepciones del personal sobre la utilidad en su trabajo de la capacitación en la gestión de humedales)
El ejemplo que se presenta a continuación, basado en una organización ficticia, ilustra la diferencia entre estos dos tipos de indicadores.
7 Ibid, p.21.
8 9
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
8
Para explorar más ampliamente las cuestiones relativas al desempeño, el equipo de evaluación puede analizar tres factores que tienen un profundo impacto sobre la actuación organizacional. En primer lugar, la capacidad de la unidad, determinada por su orientación estratégica, sus recursos humanos, su gestión financiera, sus procesos organizacionales, su estructura y sus vínculos institucionales. En segundo lugar, la motivación de los miembros de la unidad, que depende de factores tales como la historia, la misión, la cultura y los incentivos y recompensas que ofrecen la unidad y la organización en su conjunto. Finalmente, el contexto externo de la unidad, conformado por el entorno político, económico, tecnológico, sociocultural, administrativo y jurídico, así como por las partes interesadas externas. El Apéndice II propone modalidades para contemplar estos aspectos en el contexto de la UICN.
Desempeño programático
A nivel del programa, el equipo de evaluación debería examinar más atentamente una selección de operaciones del proyecto y/o programa de la unidad relativas a los temas de conservación de la biodiversidad y desarrollo sostenible. Si bien una evaluación estratégica no puede realizar una evaluación técnica programática en profundidad, puede escoger una muestra de los resultados de los programas, comparar la cartera de programas con el análisis de situación a fin de detectar lagunas significativas en la programación, y puede examinar los resultados de las evaluaciones de proyectos y programas. El equipo de evaluación debería concentrarse en los programas y proyectos más importantes para la región, y en aquellos que plantean los mayores riesgos a la UICN (en términos financieros, programáticos o en cuanto a su imagen y prestigio).
2.4 Plantear las preguntas adecuadas Una vez que se han aclarado los aspectos de desempeño que se han de evaluar, el equipo evaluador debe definir las preguntas principales acerca de tales aspectos. Las preguntas deberían poner de relieve áreas que requieren especial atención para analizar correctamente el aspecto en cuestión. Se trata de una tarea muy importante. Si se plantean las preguntas adecuadas, se facilitará en gran medida la definición de los indicadores y la recolección de datos. Y, lo que es más importante, se habrá permitido que el equipo aborde las cuestiones de manera apropiada.
Al empezar a identificar las preguntas principales, tenga en cuenta que existen diferentes tipos de preguntas – conocidas como descriptivas, normativas, o preguntas sobre el impacto – con derivaciones diferentes para sus métodos de recolección de datos.
� Preguntas descriptivas: Estas preguntas solicitan información descriptiva sobre situaciones o acontecimientos específicos. Las respuestas describen lo que está sucediendo en ese momento.
� Preguntas normativas: Estas preguntas implican comparar un resultado observado con una norma establecida o un nivel de desempeño esperado. Las respuestas describen lo que se debería hacer.
� Preguntas sobre el impacto: Estas preguntas analizan si las condiciones o sucesos observados pueden atribuirse a acciones del programa. Las respuestas describen relaciones de causa y efecto.6
En la mayor parte de los casos, una combinación de estos tipos de preguntas le ayudará a obtener la información necesaria para valorar el aspecto de desempeño concernido.
En el cuadro siguiente se presenta ejemplos de preguntas relacionadas con la cuestión de la eficiencia. Al redactar estas preguntas, debería usted tener siempre en cuenta la información que necesita para echar luz sobre los aspectos de desempeño. Los Apéndices I y II brindan ejemplos de preguntas claves con respecto a los cinco aspectos del desempeño y a los factores que afectan a este último, mencionados más arriba.
6 Ibid, p.21.
Guía para las evaluaciones estratégicas de la UICN
9
Figura 2.1 Ejemplos de tipos de preguntas
ASPECTO PREGUNTAS CLAVE TIPO DE PREGUNTA
¿Cómo se asignaron los fondos este año?
Pregunta descriptiva
¿Se utilizaron los procedimientos presupuestales normales?
Pregunta normativa
Uso eficiente de los recursos
¿El presupuesto previsto fue adecuado para las necesidades de la organización?
Pregunta sobre el impacto
Según los recursos de que se disponga para la evaluación, puede ser útil priorizar las preguntas ideadas. Para ello, se pueden tomar en consideración los criterios siguientes:
� si se puede responder o no a la pregunta con los recursos disponibles;
� la importancia de responder a esta pregunta en particular, dado el objetivo general de la evaluación; y
� establecer un equilibrio entre las preguntas correspondientes a los intereses o prioridades de las diversas partes interesadas.
El objetivo es elaborar preguntas a las que, de manera realista, se pueda responder, dentro del alcance y los límites de la evaluación, en particular, las que resultarán más útiles a las principales partes interesadas. Las preguntas a las que no se necesita responder o para las cuales no se cuenta con los medios de hacerlo, deben abandonarse. Es útil recordar la regla que distingue entre lo que "es necesario saber" y lo que "nos agradaría saber".
2.5 Establecer indicadores adecuados Un indicador es un instrumento de medición que permite precisar y medir un concepto. Es un factor o variable cuantitativo o cualitativo que proporciona un medio simple y fiable para medir los logros, o ayudar a evaluar el desempeño. Los indicadores aclaran también qué tipo de información necesitará y las preguntas clave para la evaluación.
� Los indicadores cuantitativos son “representaciones numéricas” de un concepto (por ejemplo, número de personas de la UICN que reciben capacitación en un taller sobre gestión de humedales).7
� Los indicadores cualitativos son menos tangibles y generalmente representan la opinión o la percepción de las personas en una situación dada (por ejemplo, las percepciones del personal sobre la utilidad en su trabajo de la capacitación en la gestión de humedales)
El ejemplo que se presenta a continuación, basado en una organización ficticia, ilustra la diferencia entre estos dos tipos de indicadores.
7 Ibid, p.21.
10
Guía para las eva luac iones es t ra tég icas de la UICN
11
Guía para las evaluaciones estratégicas de la UICN
10
Figura 2.2 Ejemplos de tipos de indicadores
PREGUNTA INDICADOR TIPO DE INDICADOR
Número de ejemplares sobre equidad de género difundidos por el centro de investigación durante los últimos tres años
Indicador cuantitativo
Número de personas que leyeron las publicaciones del centro de investigación sobre equidad de género durante los últimos tres años
Indicador cuantitativo
Percepción de los principales especialistas de la igualdad de género en Malí acerca del impacto de las publicaciones del centro de investigación sobre el nivel de concienciación en materia de equidad de género en Malí durante los últimos tres años
Indicador cualitativo
¿Cuál es el impacto del centro de investigación “Mujeres en acción” de Malí sobre el avance de los conceptos de equidad de género en el país en los últimos tres años?
Percepción de las ONGs femeninas que promueven la equidad de género en Malí sobre el impacto de las publicaciones del centro de investigación en materia concienciación
Indicador cualitativo
Algunos indicadores pueden ser más difíciles de medir que otros, según los recursos del equipo de evaluación. Por ejemplo, en cuanto a los indicadores cuantitativos, es mucho más fácil evaluar el número de artículos publicados por el centro de investigación que evaluar el número de personas que han leído las publicaciones del centro. Sin embargo, esta última estadística sea quizás un mejor indicador del impacto potencial del centro sobre la sociedad, ya que ilustra mejor el público de la organización. Como se indicó más arriba, los indicadores cualitativos se basan más bien en las percepciones relativas a situaciones o acontecimientos y son útiles para aprehender la variedad de impactos que se puede observar en los individuos.
2.6 Identificación de las fuentes de datos Los documentos y las personas son las dos fuentes de información primaria necesarias para responder a las preguntas planteadas y para seguir los indicadores establecidos en la capítulo anterior.
Documentos internos y externos
Los documentos siempre son una fuente importante de información en las evaluaciones estratégicas de la UICN y constituyen un buen punto de partida del proceso de recolección de datos.
Entre los documentos útiles, pueden mencionarse:
� Planes de programa intersesional
� Planes estratégicos
� Análisis de situaciones
� Planes de trabajo anuales
� Informes de avance anual
Guía para las evaluaciones estratégicas de la UICN
11
� Informes trimestrales de seguimiento
� Informes financieros, auditorías
� Documentos de programa y proyecto (propuestas, planes)
� Informes a los organismos donantes
� Informes de evaluación
� Artículos de prensa y medios de comunicación
Las personas como fuentes de datos
Debería incluirse a las partes interesadas en el proceso de evaluación. Resulta a veces difícil saber a quién involucrar y cómo hacerlo.
Las respuestas a las preguntas siguientes pueden ayudar a determinar a quién se debería involucrar:8
� ¿Qué necesita saber? ¿Las opiniones y experiencias de quién podrían ser pertinentes?
� ¿Quién toma decisiones acerca de la unidad?
� ¿Quién deberá actuar en base a las decisiones?
� ¿Quién podría beneficiarse con un análisis colaborativo de los problemas?
� ¿De quién es primordial el apoyo activo para el éxito de la unidad?
� ¿Quién podría sentirse amenazado ante la perspectiva de cambios en la unidad?
Los principales interesados en las evaluaciones estratégicas generalmente incluyen al personal de la unidad, miembros de la UICN, organizaciones asociadas, representantes del gobierno, representantes locales del proyecto y donantes. Además, es importante considerar los vínculos verticales y horizontales de las unidades con otros programas regionales, Comisiones y programas temáticos mundiales. Se puede incluir igualmente en la evaluación a Directores Regionales, Directores de Programa y coordinadores temáticos regionales o mundiales, así como a representantes de Comisiones.
2.7 ¿Qué métodos utilizar para recolectar datos? Planificar una evaluación exitosa requiere asimismo escoger los métodos más adecuados y factibles de recolección de datos. Cada uno de los métodos utilizados habitualmente en las evaluaciones de la UICN tiene sus ventajas e inconvenientes. Estos deben identificarse y discutirse con los interesados principales en la evaluación y el equipo evaluador debería buscar el modo de minimizar los efectos de los inconvenientes potenciales de cada método.
Métodos principales utilizados en las evaluaciones estratégicas
Examen de documentos
Implica identificar los documentos escritos o electrónicos que contienen información acerca de los aspectos a explorar. Como se indicó en el capítulo 2.6, los documentos pueden ser informes anuales,
8 Estas preguntas fueron tomadas de Lisa Gosling y Mike Edwards, Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation, Save the Children, 1995, p.15
Una observación sobre el acceso a las fuentes de datos:
� ¿Tenemos acceso fácil a los principales interlocutores que desearíamos incluir?
� ¿Tenemos acceso apropiado a los documentos clave?
� ¿Tenemos acceso adecuado a las instalaciones principales?
10 11
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
10
Figura 2.2 Ejemplos de tipos de indicadores
PREGUNTA INDICADOR TIPO DE INDICADOR
Número de ejemplares sobre equidad de género difundidos por el centro de investigación durante los últimos tres años
Indicador cuantitativo
Número de personas que leyeron las publicaciones del centro de investigación sobre equidad de género durante los últimos tres años
Indicador cuantitativo
Percepción de los principales especialistas de la igualdad de género en Malí acerca del impacto de las publicaciones del centro de investigación sobre el nivel de concienciación en materia de equidad de género en Malí durante los últimos tres años
Indicador cualitativo
¿Cuál es el impacto del centro de investigación “Mujeres en acción” de Malí sobre el avance de los conceptos de equidad de género en el país en los últimos tres años?
Percepción de las ONGs femeninas que promueven la equidad de género en Malí sobre el impacto de las publicaciones del centro de investigación en materia concienciación
Indicador cualitativo
Algunos indicadores pueden ser más difíciles de medir que otros, según los recursos del equipo de evaluación. Por ejemplo, en cuanto a los indicadores cuantitativos, es mucho más fácil evaluar el número de artículos publicados por el centro de investigación que evaluar el número de personas que han leído las publicaciones del centro. Sin embargo, esta última estadística sea quizás un mejor indicador del impacto potencial del centro sobre la sociedad, ya que ilustra mejor el público de la organización. Como se indicó más arriba, los indicadores cualitativos se basan más bien en las percepciones relativas a situaciones o acontecimientos y son útiles para aprehender la variedad de impactos que se puede observar en los individuos.
2.6 Identificación de las fuentes de datos Los documentos y las personas son las dos fuentes de información primaria necesarias para responder a las preguntas planteadas y para seguir los indicadores establecidos en la capítulo anterior.
Documentos internos y externos
Los documentos siempre son una fuente importante de información en las evaluaciones estratégicas de la UICN y constituyen un buen punto de partida del proceso de recolección de datos.
Entre los documentos útiles, pueden mencionarse:
� Planes de programa intersesional
� Planes estratégicos
� Análisis de situaciones
� Planes de trabajo anuales
� Informes de avance anual
Guía para las evaluaciones estratégicas de la UICN
11
� Informes trimestrales de seguimiento
� Informes financieros, auditorías
� Documentos de programa y proyecto (propuestas, planes)
� Informes a los organismos donantes
� Informes de evaluación
� Artículos de prensa y medios de comunicación
Las personas como fuentes de datos
Debería incluirse a las partes interesadas en el proceso de evaluación. Resulta a veces difícil saber a quién involucrar y cómo hacerlo.
Las respuestas a las preguntas siguientes pueden ayudar a determinar a quién se debería involucrar:8
� ¿Qué necesita saber? ¿Las opiniones y experiencias de quién podrían ser pertinentes?
� ¿Quién toma decisiones acerca de la unidad?
� ¿Quién deberá actuar en base a las decisiones?
� ¿Quién podría beneficiarse con un análisis colaborativo de los problemas?
� ¿De quién es primordial el apoyo activo para el éxito de la unidad?
� ¿Quién podría sentirse amenazado ante la perspectiva de cambios en la unidad?
Los principales interesados en las evaluaciones estratégicas generalmente incluyen al personal de la unidad, miembros de la UICN, organizaciones asociadas, representantes del gobierno, representantes locales del proyecto y donantes. Además, es importante considerar los vínculos verticales y horizontales de las unidades con otros programas regionales, Comisiones y programas temáticos mundiales. Se puede incluir igualmente en la evaluación a Directores Regionales, Directores de Programa y coordinadores temáticos regionales o mundiales, así como a representantes de Comisiones.
2.7 ¿Qué métodos utilizar para recolectar datos? Planificar una evaluación exitosa requiere asimismo escoger los métodos más adecuados y factibles de recolección de datos. Cada uno de los métodos utilizados habitualmente en las evaluaciones de la UICN tiene sus ventajas e inconvenientes. Estos deben identificarse y discutirse con los interesados principales en la evaluación y el equipo evaluador debería buscar el modo de minimizar los efectos de los inconvenientes potenciales de cada método.
Métodos principales utilizados en las evaluaciones estratégicas
Examen de documentos
Implica identificar los documentos escritos o electrónicos que contienen información acerca de los aspectos a explorar. Como se indicó en el capítulo 2.6, los documentos pueden ser informes anuales,
8 Estas preguntas fueron tomadas de Lisa Gosling y Mike Edwards, Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation, Save the Children, 1995, p.15
Una observación sobre el acceso a las fuentes de datos:
� ¿Tenemos acceso fácil a los principales interlocutores que desearíamos incluir?
� ¿Tenemos acceso apropiado a los documentos clave?
� ¿Tenemos acceso adecuado a las instalaciones principales?
12
Guía para las eva luac iones es t ra tég icas de la UICN
13
Guía para las evaluaciones estratégicas de la UICN
12
planes o evaluaciones de proyecto/programa, planes estratégicos, etc. Es importante que el equipo discuta sobre qué documentos corresponden a las preguntas formuladas en la evaluación. El equipo examina entonces los documentos y detecta la información relevante. Deben mantenerse actualizados y citar la información extraída de los documentos.
Observación in situ
Este método brinda un informe in situ de lo que está sucediendo en un lugar o situación específicos. Puede tratarse de una situación organizacional, tal como reuniones del personal, reuniones periódicas con asociados, etc. Una visita a sitios de proyecto puede ayudar al equipo de evaluación a entender el contexto en el que los proyectos o programas se desarrollan. Brinda asimismo una ocasión de conocer mejor la cultura de la unidad, especialmente cuando las personas son reticentes a participar en entrevistas. Sin embargo, las visitas no siempre son posibles, debido a limitaciones de tiempo y distancia de los sitios.
Cuestionarios
Son preguntas impresas o electrónicas distribuidas a un grupo predeterminado de personas a través del correo, fax o correo electrónico. Si el equipo usa este método, es importante que destine tiempo para probar la herramienta desarrollada o adaptada, verificando la formulación y el orden de las preguntas y, de ser necesario, mejorando la calidad del instrumento a fin de que sea más fácilmente entendido por las personas interrogadas. El equipo de evaluación debería definir al grupo o muestra consultados y establecer de antemano lo que considerará como un nivel de respuestas adecuado (habitualmente se requiere más del 50% en las evaluaciones estratégicas de la UICN). Para consejos sobre la elaboración y utilización de cuestionarios, véase el Apéndice VI;
Técnicas de grupo (entrevistas, grupos focales, talleres coordinados)
Entrevista grupal: entrevistar a un grupo de personas juntas (3-5) permite acceder a los conocimientos de varias personas simultáneamente. Este método comprende una discusión grupal de un tema o cuestión predeterminada, conducida por un coordinador (en persona o por teleconferencia).
Grupo focal: Se invita a un pequeño grupo de personas (5-10) especialistas de un tema, o que comparten un interés o característica peculiar, a discutir pormenorizadamente temas específicos. Durante la sesión, se invita a los participantes a responder a una serie de preguntas predefinidas. No se intenta, sin embargo, ni se alienta a los participantes a buscar un consenso ni a reconsiderar sus opiniones, sino simplemente a que digan lo que piensan. Los grupos focales pueden utilizarse también para esclarecer temas específicos que luego pueden ser debatidos por un grupo más amplio.
Taller coordinado: En el contexto de una evaluación estratégica, puede ser provechoso organizar un taller corto a fin de realizar un análisis FODA (SWOT) - una valoración de las Fortalezas, Oportunidades, Debilidades y Amenazas que enfrenta una unidad. Durante el taller se pueden suscitar ideas y también definir temas prioritarios a examinar en la evaluación estratégica.
Para consejos sobre la utilización de técnicas de grupo, véase el Apéndice IV.
Entrevistas individuales
Utilizando una guía para la entrevista, llamada un protocolo, el entrevistador formula preguntas a su interlocutor, ya sea cara a cara o por teléfono. En las evaluaciones estratégicas, se pueden realizar entrevistas con un cierto número de asociados, miembros, donantes o miembros del personal seleccionados. La decisión de efectuar entrevistas puede basarse en:
� la selección de informantes clave, cuando parece preferible entrevistarlos a enviarles un cuestionario, para estar seguros de tomar en cuenta sus puntos de vista;
� cuestiones de protocolo – por ejemplo, en el caso de funcionarios gubernamentales de alto rango, es más adecuado entrevistarlos que enviarles cuestionarios; y
Guía para las evaluaciones estratégicas de la UICN
13
� temas que surgen de los resultados de un cuestionario distribuido más ampliamente y que muestran la necesidad de conducir entrevistas más profundizadas con interlocutores clave.
Para consejos sobre la conducción de entrevistas, véase el Apéndice VI.
Ventajas e inconvenientes de cada uno de los métodos
En el cuadro a continuación se indican algunas de las ventajas e inconvenientes de cada uno de los métodos de recolección de datos utilizados habitualmente en una evaluación estratégica o en otro tipo de evaluaciones.
Figura 2.3 Ventajas e inconvenientes de los métodos de recolección de datos
MÉTODO VENTAJAS INCONVENIENTES
Cuestionario Altamente eficiente para la recolección de datos en una amplia población de personas interrogadas
Se presta a análisis cuantitativos
Eficiente en términos de coste y tiempo
Muchas personas están familiarizadas con esta herramienta
Los encuestados pueden realizar comentarios utilizando sus propios términos
Bajo nivel de respuesta si no existe un seguimiento activo
Entrevista Cara a cara:
Permite recabar información en profundidad
Permite un análisis en profundidad y un tratamiento pormenorizado adaptado a cada interlocutor
Pone de manifiesto el valor acordado a un tema en particular
Alto nivel de respuesta
Cara a cara:
Requiere una planificación minuciosa
Requiere entrevistadores competentes para lograr entrevistas válidas
Puede suscitar respuestas "para agradar"
A menudo los datos son difíciles de analizar de modo de obtener indicaciones claras Es difícil de organizar desde un punto de vista logístico, es oneroso y lleva mucho tiempo a todas las partes involucradas
Entrevista telefónica:
Presenta muchas de las ventajas mencionadas más arriba, a menor coste
Permite la realización de entrevistas cuando los interlocutores están dispersos geográficamente
Permite una codificación rápida de las respuestas en papel u ordenador
Entrevista telefónica:
Hay quienes la consideran intrusiva (esto puede subsanarse con entrevistas previstas de antemano)
Para el entrevistador es difícil mantener la atención del interlocutor durante un período prolongado
Técnicas grupales La sinergia de grupo maximiza la rememoración
Ponen de manifiesto la diversidad de perspectivas
Proporcionan una perspectiva cualitativa densa
El proceso grupal puede hacer aflorar actitudes subyacentes
Exigen un coordinador competente
No se prestan a cuantificación
No son buenas para revelar información delicada
Requieren una planificación considerable de las preguntas y de la logística
12 13
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
12
planes o evaluaciones de proyecto/programa, planes estratégicos, etc. Es importante que el equipo discuta sobre qué documentos corresponden a las preguntas formuladas en la evaluación. El equipo examina entonces los documentos y detecta la información relevante. Deben mantenerse actualizados y citar la información extraída de los documentos.
Observación in situ
Este método brinda un informe in situ de lo que está sucediendo en un lugar o situación específicos. Puede tratarse de una situación organizacional, tal como reuniones del personal, reuniones periódicas con asociados, etc. Una visita a sitios de proyecto puede ayudar al equipo de evaluación a entender el contexto en el que los proyectos o programas se desarrollan. Brinda asimismo una ocasión de conocer mejor la cultura de la unidad, especialmente cuando las personas son reticentes a participar en entrevistas. Sin embargo, las visitas no siempre son posibles, debido a limitaciones de tiempo y distancia de los sitios.
Cuestionarios
Son preguntas impresas o electrónicas distribuidas a un grupo predeterminado de personas a través del correo, fax o correo electrónico. Si el equipo usa este método, es importante que destine tiempo para probar la herramienta desarrollada o adaptada, verificando la formulación y el orden de las preguntas y, de ser necesario, mejorando la calidad del instrumento a fin de que sea más fácilmente entendido por las personas interrogadas. El equipo de evaluación debería definir al grupo o muestra consultados y establecer de antemano lo que considerará como un nivel de respuestas adecuado (habitualmente se requiere más del 50% en las evaluaciones estratégicas de la UICN). Para consejos sobre la elaboración y utilización de cuestionarios, véase el Apéndice VI;
Técnicas de grupo (entrevistas, grupos focales, talleres coordinados)
Entrevista grupal: entrevistar a un grupo de personas juntas (3-5) permite acceder a los conocimientos de varias personas simultáneamente. Este método comprende una discusión grupal de un tema o cuestión predeterminada, conducida por un coordinador (en persona o por teleconferencia).
Grupo focal: Se invita a un pequeño grupo de personas (5-10) especialistas de un tema, o que comparten un interés o característica peculiar, a discutir pormenorizadamente temas específicos. Durante la sesión, se invita a los participantes a responder a una serie de preguntas predefinidas. No se intenta, sin embargo, ni se alienta a los participantes a buscar un consenso ni a reconsiderar sus opiniones, sino simplemente a que digan lo que piensan. Los grupos focales pueden utilizarse también para esclarecer temas específicos que luego pueden ser debatidos por un grupo más amplio.
Taller coordinado: En el contexto de una evaluación estratégica, puede ser provechoso organizar un taller corto a fin de realizar un análisis FODA (SWOT) - una valoración de las Fortalezas, Oportunidades, Debilidades y Amenazas que enfrenta una unidad. Durante el taller se pueden suscitar ideas y también definir temas prioritarios a examinar en la evaluación estratégica.
Para consejos sobre la utilización de técnicas de grupo, véase el Apéndice IV.
Entrevistas individuales
Utilizando una guía para la entrevista, llamada un protocolo, el entrevistador formula preguntas a su interlocutor, ya sea cara a cara o por teléfono. En las evaluaciones estratégicas, se pueden realizar entrevistas con un cierto número de asociados, miembros, donantes o miembros del personal seleccionados. La decisión de efectuar entrevistas puede basarse en:
� la selección de informantes clave, cuando parece preferible entrevistarlos a enviarles un cuestionario, para estar seguros de tomar en cuenta sus puntos de vista;
� cuestiones de protocolo – por ejemplo, en el caso de funcionarios gubernamentales de alto rango, es más adecuado entrevistarlos que enviarles cuestionarios; y
Guía para las evaluaciones estratégicas de la UICN
13
� temas que surgen de los resultados de un cuestionario distribuido más ampliamente y que muestran la necesidad de conducir entrevistas más profundizadas con interlocutores clave.
Para consejos sobre la conducción de entrevistas, véase el Apéndice VI.
Ventajas e inconvenientes de cada uno de los métodos
En el cuadro a continuación se indican algunas de las ventajas e inconvenientes de cada uno de los métodos de recolección de datos utilizados habitualmente en una evaluación estratégica o en otro tipo de evaluaciones.
Figura 2.3 Ventajas e inconvenientes de los métodos de recolección de datos
MÉTODO VENTAJAS INCONVENIENTES
Cuestionario Altamente eficiente para la recolección de datos en una amplia población de personas interrogadas
Se presta a análisis cuantitativos
Eficiente en términos de coste y tiempo
Muchas personas están familiarizadas con esta herramienta
Los encuestados pueden realizar comentarios utilizando sus propios términos
Bajo nivel de respuesta si no existe un seguimiento activo
Entrevista Cara a cara:
Permite recabar información en profundidad
Permite un análisis en profundidad y un tratamiento pormenorizado adaptado a cada interlocutor
Pone de manifiesto el valor acordado a un tema en particular
Alto nivel de respuesta
Cara a cara:
Requiere una planificación minuciosa
Requiere entrevistadores competentes para lograr entrevistas válidas
Puede suscitar respuestas "para agradar"
A menudo los datos son difíciles de analizar de modo de obtener indicaciones claras Es difícil de organizar desde un punto de vista logístico, es oneroso y lleva mucho tiempo a todas las partes involucradas
Entrevista telefónica:
Presenta muchas de las ventajas mencionadas más arriba, a menor coste
Permite la realización de entrevistas cuando los interlocutores están dispersos geográficamente
Permite una codificación rápida de las respuestas en papel u ordenador
Entrevista telefónica:
Hay quienes la consideran intrusiva (esto puede subsanarse con entrevistas previstas de antemano)
Para el entrevistador es difícil mantener la atención del interlocutor durante un período prolongado
Técnicas grupales La sinergia de grupo maximiza la rememoración
Ponen de manifiesto la diversidad de perspectivas
Proporcionan una perspectiva cualitativa densa
El proceso grupal puede hacer aflorar actitudes subyacentes
Exigen un coordinador competente
No se prestan a cuantificación
No son buenas para revelar información delicada
Requieren una planificación considerable de las preguntas y de la logística
14
Guía para las eva luac iones es t ra tég icas de la UICN
15
Guía para las evaluaciones estratégicas de la UICN
14
MÉTODO VENTAJAS INCONVENIENTES
Se puede acceder a un gran número de personas en poco tiempo
Observación in situ Brinda informaciones obtenidas por observación directa
Permite comparar lo dicho con lo hecho
Es una técnica fina cuando la aplica un observador entrenado
Tiene lugar en un contexto natural
Puede crear situaciones artificiales
Puede plantear problemas de muestreo inadecuado de los hechos observados
Es costosa en tiempo y en personal
Puede reflejar sesgos del observador
Examen de documentos
Buena fuente de información general y de trasfondo
Puede revelar cuestiones no observables por otros medios
Es económico
No es intrusivo
La información puede ser inutilizable, estar desactualizada, desorganizada o no disponible
Puede estar sesgada debido a una "supervivencia selectiva" de la información
Puede exigir grandes esfuerzos de investigación
2.8 Cómo determinar la composición del equipo de evaluación Es éste un aspecto crucial de la fase de planificación. Al seleccionar el equipo, es importante tener en cuenta las competencias y las perspectivas que cada miembro del equipo aportará en relación a los temas a tratar en la evaluación, incluyendo una buena combinación de competencias cuantitativas y cualitativas, pericia técnica/programática, experiencia en procesos participativos, competencia evaluativa, etc.
El equipo evaluador debería estar equilibrado en cuanto a las perspectivas internas y externas aportadas por cada miembro. Puede estar integrado únicamente por personal de la UICN o combinar evaluadores internos y externos. Al tomar esta decisión, es importante considerar las consecuencias tanto en lo que hace al coste como a la calidad de los resultados. Incluir un consultor externo requerirá más recursos financieros, pero puede incrementar la objetividad del análisis, reducir sesgos, etc.
La UICN recomienda que los equipos de evaluación estratégica estén formados por un directivo superior de la UICN (Director Regional, Director de un Programa Temático) como jefe del equipo, asistido por un encargado de programa de nivel intermedio y un consultor externo que aporte competencias complementarias. Tanto los encargados de programa de nivel intermedio como el consultor deben colaborar en la recolección y en el análisis de datos.
2.9 Definir las funciones y responsabilidades de los miembros del equipo Los directivos de nivel superior de la UICN (Directores Regionales, Directores de Programas Temáticos) desempeñan un papel estratégico aportando guía y liderazgo al equipo y supervisando la calidad general de la evaluación. Pueden verse más involucrados en la etapa conceptual de definición de los aspectos, preguntas y del enfoque general de la evaluación. Pasarán probablemente menos tiempo en el terreno recogiendo y analizando información que los demás miembros del equipo.
Por otra parte, el encargado de programa de nivel intermedio y el consultor externo desempeñarán un papel operacional mayor, centrándose en cuestiones analíticas y logísticas tales como la difusión de cuestionarios, realización de entrevistas, análisis de datos y elaboración de informes.
Es posible que un miembro del equipo evaluador desempeñe un papel a la vez estratégico y operacional. Lo que es importante tener presente al preparar una evaluación es que ciertas responsabilidades tienen precedencia sobre otras en diferentes fases del proceso. Por ejemplo, las responsabilidades conceptuales prevalecerán en las fases de planificación y preparación de informes, mientras que las responsabilidades
Guía para las evaluaciones estratégicas de la UICN
15
operacionales serán preponderantes durante la recolección y análisis de datos.9
2.10 Matriz de evaluación La matriz de evaluación proporciona un medio para captar y organizar la información relativa a diversos pasos de esta etapa de planificación - desde la determinación de los aspectos del desempeño a evaluar hasta la elección de los métodos apropiados de recolección de datos. El cuadro que figura a continuación es un ejemplo de matriz de evaluación. Presenta un aspecto del desempeño, preguntas destinadas a obtener la información específica que buscamos acerca de dicho aspecto, indicadores, fuentes de datos y el método propuesto de recolección de datos.
Para un ejemplo más detallado, véase la matriz de evaluación de la evaluación estratégica de BRAO incluida en el Apéndice III.
Figura 2.4 Ejemplo de matriz de evaluación
ASPECTOS DEL DESEMPEÑO
PREGUNTAS INDICADORES FUENTES DE DATOSMÉTODO DE
RECOLECCIÓN DE DATOS
Eficacia del programa de la unidad
¿Cuáles son los productos específicos del Programa?
Productos del programa
Planes del Programa que describen productos
Examen de documentos
¿En qué medida los productos están contribuyendo a los objetivos del Programa?
Percepción de los grupos interesados en el Programa sobre la contribución de los productos a los objetivos del Programa
Asociados, personal, beneficiarios
Cuestionario
¿En qué medida el Programa está contribuyendo a la conservación y al desarrollo sostenible de la región?
Percepciones de los grupos interesados del Programa sobre la contribución del Programa a la conservación y desarrollo sostenible
Miembros, donantes
Análisis de situación
Cuestionario y entrevistas individuales
Datos del análisis de situación
2.11 Plan de trabajo/Cronograma de la evaluación El plan de la evaluación debería indicar de qué modo se realizará el trabajo en un período determinado. Precisará las tareas, productos, plazos y responsables para la realización de las diferentes fases de la evaluación.
Figura 2.5 Formato posible para un plan de trabajo de una evaluación
FASE TAREA O ACTIVIDAD PRODUCTO FECHAMIEMBRO DEL EQUIPO
RESPONSABLE
2 Desarrollar las herramientas de recolección de datos
Cuestionario 18 de mayo JF
Protocolos para el grupo focal
27 de mayo AMR
9 Para mayores informaciones sobre estas ideas, véase: Charles Lusthaus, Marie-Hélène Adrien, Gary Anderson y Fred Carden, Enhancing Organizational Performance: A Toolbox for Self-Assessment, IDRC, Ottawa, 1999, p. 10.
14 15
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
14
MÉTODO VENTAJAS INCONVENIENTES
Se puede acceder a un gran número de personas en poco tiempo
Observación in situ Brinda informaciones obtenidas por observación directa
Permite comparar lo dicho con lo hecho
Es una técnica fina cuando la aplica un observador entrenado
Tiene lugar en un contexto natural
Puede crear situaciones artificiales
Puede plantear problemas de muestreo inadecuado de los hechos observados
Es costosa en tiempo y en personal
Puede reflejar sesgos del observador
Examen de documentos
Buena fuente de información general y de trasfondo
Puede revelar cuestiones no observables por otros medios
Es económico
No es intrusivo
La información puede ser inutilizable, estar desactualizada, desorganizada o no disponible
Puede estar sesgada debido a una "supervivencia selectiva" de la información
Puede exigir grandes esfuerzos de investigación
2.8 Cómo determinar la composición del equipo de evaluación Es éste un aspecto crucial de la fase de planificación. Al seleccionar el equipo, es importante tener en cuenta las competencias y las perspectivas que cada miembro del equipo aportará en relación a los temas a tratar en la evaluación, incluyendo una buena combinación de competencias cuantitativas y cualitativas, pericia técnica/programática, experiencia en procesos participativos, competencia evaluativa, etc.
El equipo evaluador debería estar equilibrado en cuanto a las perspectivas internas y externas aportadas por cada miembro. Puede estar integrado únicamente por personal de la UICN o combinar evaluadores internos y externos. Al tomar esta decisión, es importante considerar las consecuencias tanto en lo que hace al coste como a la calidad de los resultados. Incluir un consultor externo requerirá más recursos financieros, pero puede incrementar la objetividad del análisis, reducir sesgos, etc.
La UICN recomienda que los equipos de evaluación estratégica estén formados por un directivo superior de la UICN (Director Regional, Director de un Programa Temático) como jefe del equipo, asistido por un encargado de programa de nivel intermedio y un consultor externo que aporte competencias complementarias. Tanto los encargados de programa de nivel intermedio como el consultor deben colaborar en la recolección y en el análisis de datos.
2.9 Definir las funciones y responsabilidades de los miembros del equipo Los directivos de nivel superior de la UICN (Directores Regionales, Directores de Programas Temáticos) desempeñan un papel estratégico aportando guía y liderazgo al equipo y supervisando la calidad general de la evaluación. Pueden verse más involucrados en la etapa conceptual de definición de los aspectos, preguntas y del enfoque general de la evaluación. Pasarán probablemente menos tiempo en el terreno recogiendo y analizando información que los demás miembros del equipo.
Por otra parte, el encargado de programa de nivel intermedio y el consultor externo desempeñarán un papel operacional mayor, centrándose en cuestiones analíticas y logísticas tales como la difusión de cuestionarios, realización de entrevistas, análisis de datos y elaboración de informes.
Es posible que un miembro del equipo evaluador desempeñe un papel a la vez estratégico y operacional. Lo que es importante tener presente al preparar una evaluación es que ciertas responsabilidades tienen precedencia sobre otras en diferentes fases del proceso. Por ejemplo, las responsabilidades conceptuales prevalecerán en las fases de planificación y preparación de informes, mientras que las responsabilidades
Guía para las evaluaciones estratégicas de la UICN
15
operacionales serán preponderantes durante la recolección y análisis de datos.9
2.10 Matriz de evaluación La matriz de evaluación proporciona un medio para captar y organizar la información relativa a diversos pasos de esta etapa de planificación - desde la determinación de los aspectos del desempeño a evaluar hasta la elección de los métodos apropiados de recolección de datos. El cuadro que figura a continuación es un ejemplo de matriz de evaluación. Presenta un aspecto del desempeño, preguntas destinadas a obtener la información específica que buscamos acerca de dicho aspecto, indicadores, fuentes de datos y el método propuesto de recolección de datos.
Para un ejemplo más detallado, véase la matriz de evaluación de la evaluación estratégica de BRAO incluida en el Apéndice III.
Figura 2.4 Ejemplo de matriz de evaluación
ASPECTOS DEL DESEMPEÑO
PREGUNTAS INDICADORES FUENTES DE DATOSMÉTODO DE
RECOLECCIÓN DE DATOS
Eficacia del programa de la unidad
¿Cuáles son los productos específicos del Programa?
Productos del programa
Planes del Programa que describen productos
Examen de documentos
¿En qué medida los productos están contribuyendo a los objetivos del Programa?
Percepción de los grupos interesados en el Programa sobre la contribución de los productos a los objetivos del Programa
Asociados, personal, beneficiarios
Cuestionario
¿En qué medida el Programa está contribuyendo a la conservación y al desarrollo sostenible de la región?
Percepciones de los grupos interesados del Programa sobre la contribución del Programa a la conservación y desarrollo sostenible
Miembros, donantes
Análisis de situación
Cuestionario y entrevistas individuales
Datos del análisis de situación
2.11 Plan de trabajo/Cronograma de la evaluación El plan de la evaluación debería indicar de qué modo se realizará el trabajo en un período determinado. Precisará las tareas, productos, plazos y responsables para la realización de las diferentes fases de la evaluación.
Figura 2.5 Formato posible para un plan de trabajo de una evaluación
FASE TAREA O ACTIVIDAD PRODUCTO FECHAMIEMBRO DEL EQUIPO
RESPONSABLE
2 Desarrollar las herramientas de recolección de datos
Cuestionario 18 de mayo JF
Protocolos para el grupo focal
27 de mayo AMR
9 Para mayores informaciones sobre estas ideas, véase: Charles Lusthaus, Marie-Hélène Adrien, Gary Anderson y Fred Carden, Enhancing Organizational Performance: A Toolbox for Self-Assessment, IDRC, Ottawa, 1999, p. 10.
16
Guía para las eva luac iones es t ra tég icas de la UICN
17
Guía para las evaluaciones estratégicas de la UICN
16
3. Recolectar los datos de manera eficaz Los hallazgos y las conclusiones de la evaluación dependerán de la recolección y el análisis sistemáticos de una información variada. El propósito de ser sistemático es poder enfocar los temas globalmente y no desde una perspectiva única.10 Si la recolección de datos es eficaz, al equipo evaluador le resultará más fácil ofrecer una visión equilibrada -obtenida a partir de diferentes fuentes - de los temas tratados.
3.1 Desarrollar o adaptar las herramientas de recolección de datos Todos los métodos de recolección de datos descritos en el capítulo 2.7 requieren el uso de herramientas para facilitar el proceso. El equipo de evaluación es responsable de su diseño. En el Apéndice IV de esta Guía se brindan consejos que pueden servir en este proceso.
Además, en el Apéndice VII se enlistan ejemplos de cuestionarios y protocolos utilizados en evaluaciones previas. Estos cuestionarios proporcionan un punto de partida para el equipo, pero deben ser adaptados a los temas y cuestiones particulares que se hayan identificado para la evaluación.
La matriz de evaluación descrita en el capítulo anterior constituye una base para desarrollar o adaptar herramientas a un contexto específico de evaluación.
Utilizar un enfoque participativo en la elaboración de herramientas
Una de las funciones del equipo evaluador es determinar la mejor manera de preparar las herramientas de recolección de datos. En la elaboración de cuestionarios y protocolos, la retroinformación proveniente de los diversos interesados (directores regionales, directores nacionales, miembros del equipo de evaluación, coordinador S&E, etc.) puede ser de suma utilidad. Una consulta amplia permite garantizar que las preguntas, los temas y el tipo de lenguaje utilizado sean adecuados a una región específica. Pero este tipo de procesos requiere tiempo y energía. El equipo evaluador debe estar dispuesto a seguir todo el proceso de consulta, a observar el consenso que se va logrando en torno a los elementos de las herramientas y a integrar los comentarios. Un enfoque participativo puede duplicar el tiempo necesario para desarrollar las herramientas. Este factor debería estar contemplado en el plan de trabajo y en el cronograma de la evaluación.
3.2 Utilizar una estrategia de difusión apropiada Una estrategia de difusión es el modo en que el equipo evaluador decide distribuir y recoger los datos. Esta estrategia debe ser planificada cuidadosamente y debe tomar en cuenta el vocabulario, el calendario, aspectos tecnológicos, culturales y otros que pueden tener repercusiones en cuanto a la posibilidad de acceder o no a las personas solicitadas y a su participación en el proceso.
10 Louisa Gosling y Mike Edwards, Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation,Save the Children, 1995, p. 39.
Comunicación con las partes interesadas
Antes de comenzar la recolección de datos, es importante comunicarse con las partes interesadas:
� Indicarles el porqué de la evaluación estratégica.
� Indicarles cuándo ésta tendrá lugar.
� Verificar que saben qué se espera de ellos.
Guía para las evaluaciones estratégicas de la UICN
17
Figura 2.6 Cómo obtener altos niveles de respuesta
MÉTODO CONSEJO
Entrevistas Fíjelas con anticipación.
Confirme la cita el día anterior a la entrevista.
Confirme una nueva cita si hay una anulación.
Cuestionarios Envíe previamente una nota explicativa.
Haga enviar el cuestionario por un miembro de rango superior de la organización.
Efectúe un seguimiento apropiado a través de llamados telefónicos o visitas personales de un miembro de la organización.
3.3 Introducción de los datos de los cuestionarios Una vez que se han recolectado todos los cuestionarios, la primera etapa en la introducción de los datos consiste en codificar los cuestionarios asignando un número de identificación a cada uno, lo cual le permitirá referirse a ellos en adelante, si es necesario, en el proceso de análisis de datos. En la mayoría de los casos, una simple planilla de cálculos Excel proveerá las funciones necesarias para organizar la información contenida en los cuestionarios codificados, producir estadísticas, y generar los gráficos necesarios para analizar los datos. En el Apéndice VIII se brindan algunos consejos generales sobre cómo diseñar una base de datos sencilla e introducir los datos utilizando Microsoft Excel. Una vez introducidos los datos, este programa le permitirá asimismo generar diagramas útiles para analizar los datos.
En general, los miembros del equipo evaluador no realizan directamente las tareas de introducción de datos y generación de gráficos; es por ello importante presupuestar y planificar una asistencia interna o externa a la organización para introducir los datos. Es importante igualmente finalizar la introducción de datos lo antes posible para que el equipo evaluador pueda ver las cuestiones y tendencias emergentes del conjunto de los datos.
16 17
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
16
3. Recolectar los datos de manera eficaz Los hallazgos y las conclusiones de la evaluación dependerán de la recolección y el análisis sistemáticos de una información variada. El propósito de ser sistemático es poder enfocar los temas globalmente y no desde una perspectiva única.10 Si la recolección de datos es eficaz, al equipo evaluador le resultará más fácil ofrecer una visión equilibrada -obtenida a partir de diferentes fuentes - de los temas tratados.
3.1 Desarrollar o adaptar las herramientas de recolección de datos Todos los métodos de recolección de datos descritos en el capítulo 2.7 requieren el uso de herramientas para facilitar el proceso. El equipo de evaluación es responsable de su diseño. En el Apéndice IV de esta Guía se brindan consejos que pueden servir en este proceso.
Además, en el Apéndice VII se enlistan ejemplos de cuestionarios y protocolos utilizados en evaluaciones previas. Estos cuestionarios proporcionan un punto de partida para el equipo, pero deben ser adaptados a los temas y cuestiones particulares que se hayan identificado para la evaluación.
La matriz de evaluación descrita en el capítulo anterior constituye una base para desarrollar o adaptar herramientas a un contexto específico de evaluación.
Utilizar un enfoque participativo en la elaboración de herramientas
Una de las funciones del equipo evaluador es determinar la mejor manera de preparar las herramientas de recolección de datos. En la elaboración de cuestionarios y protocolos, la retroinformación proveniente de los diversos interesados (directores regionales, directores nacionales, miembros del equipo de evaluación, coordinador S&E, etc.) puede ser de suma utilidad. Una consulta amplia permite garantizar que las preguntas, los temas y el tipo de lenguaje utilizado sean adecuados a una región específica. Pero este tipo de procesos requiere tiempo y energía. El equipo evaluador debe estar dispuesto a seguir todo el proceso de consulta, a observar el consenso que se va logrando en torno a los elementos de las herramientas y a integrar los comentarios. Un enfoque participativo puede duplicar el tiempo necesario para desarrollar las herramientas. Este factor debería estar contemplado en el plan de trabajo y en el cronograma de la evaluación.
3.2 Utilizar una estrategia de difusión apropiada Una estrategia de difusión es el modo en que el equipo evaluador decide distribuir y recoger los datos. Esta estrategia debe ser planificada cuidadosamente y debe tomar en cuenta el vocabulario, el calendario, aspectos tecnológicos, culturales y otros que pueden tener repercusiones en cuanto a la posibilidad de acceder o no a las personas solicitadas y a su participación en el proceso.
10 Louisa Gosling y Mike Edwards, Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation,Save the Children, 1995, p. 39.
Comunicación con las partes interesadas
Antes de comenzar la recolección de datos, es importante comunicarse con las partes interesadas:
� Indicarles el porqué de la evaluación estratégica.
� Indicarles cuándo ésta tendrá lugar.
� Verificar que saben qué se espera de ellos.
Guía para las evaluaciones estratégicas de la UICN
17
Figura 2.6 Cómo obtener altos niveles de respuesta
MÉTODO CONSEJO
Entrevistas Fíjelas con anticipación.
Confirme la cita el día anterior a la entrevista.
Confirme una nueva cita si hay una anulación.
Cuestionarios Envíe previamente una nota explicativa.
Haga enviar el cuestionario por un miembro de rango superior de la organización.
Efectúe un seguimiento apropiado a través de llamados telefónicos o visitas personales de un miembro de la organización.
3.3 Introducción de los datos de los cuestionarios Una vez que se han recolectado todos los cuestionarios, la primera etapa en la introducción de los datos consiste en codificar los cuestionarios asignando un número de identificación a cada uno, lo cual le permitirá referirse a ellos en adelante, si es necesario, en el proceso de análisis de datos. En la mayoría de los casos, una simple planilla de cálculos Excel proveerá las funciones necesarias para organizar la información contenida en los cuestionarios codificados, producir estadísticas, y generar los gráficos necesarios para analizar los datos. En el Apéndice VIII se brindan algunos consejos generales sobre cómo diseñar una base de datos sencilla e introducir los datos utilizando Microsoft Excel. Una vez introducidos los datos, este programa le permitirá asimismo generar diagramas útiles para analizar los datos.
En general, los miembros del equipo evaluador no realizan directamente las tareas de introducción de datos y generación de gráficos; es por ello importante presupuestar y planificar una asistencia interna o externa a la organización para introducir los datos. Es importante igualmente finalizar la introducción de datos lo antes posible para que el equipo evaluador pueda ver las cuestiones y tendencias emergentes del conjunto de los datos.
18
Guía para las eva luac iones es t ra tég icas de la UICN
19
Guía para las evaluaciones estratégicas de la UICN
18
4. Efectuar un análisis adecuado de los datos Tras la recolección de datos, la información debe ser descrita, analizada e interpretada, y se deben evaluar los hallazgos. Este proceso puede ser complicado y existe una amplia literatura sobre métodos de investigación y de evaluación que aborda el tema de manera más pormenorizada. En los capítulos siguientes destacamos los aspectos más importantes a considerar al abordar esta etapa.
Es importante reservar suficiente tiempo al análisis de datos, especialmente cuando hay una gran cantidad de información cualitativa.
4.1 La importancia de la triangulación de los datos Es importante que el equipo reduzca las incoherencias y confirme los resultados utilizando más de una fuente. Ello implica recoger las opiniones de más de un grupo e intentar recabar más de un tipo de datos. Cuando se recogen datos de por lo menos tres fuentes diferentes, se "triangulan" los datos. Es ésta una norma importante en materia de recolección de datos; y la información obtenida a partir de varias fuentes diferentes permite efectuar interpretaciones más sólidas.
4.2 Interpretación de los datos Antes de abocarse más a fondo al análisis de los datos, es conveniente examinar toda la información de que se dispone y evaluar si cumple o no con otros criterios, tales como:
� ¿La información es fiable? La fiabilidad remite a la coherencia en la medición.¿Nuestras herramientas habrían obtenido las mismas respuestas aunque se hubiesen aplicado en lugares o momentos diferentes? Para determinar la fiabilidad, podría usted preguntarse si el momento en que se condujeron las entrevistas, u otras condiciones locales, pueden haber influido indebidamente en las respuestas al cuestionario. Al examinar la información cualitativa reunida durante la evaluación, es importante observar si todos los miembros del equipo llegan a la misma conclusión. ¿Llegarían a la misma conclusión personas ajenas al equipo?
� ¿La información es válida?La validez se refiere a la medida en que los métodos y herramientas de recolección de datos miden lo que se supone deben medir - ¿obtuvieron la información buscada? La validez es complementaria de la fiabilidad y se refiere al grado de adecuación entre lo que medimos y lo que se esperaba medir. En las evaluaciones estratégicas es importante considerar la validez interna delas mediciones de datos, la cual está vinculada, por ejemplo, con la veracidad de las respuestas y la exactitud del registro de datos. También es importante interrogarse acerca de la validez externa,o carácter generalizable de los resultados, cuando los datos se extraen de una muestra, en vez de la población total. Por ejemplo, ¿los resultados obtenidos a partir de una muestra de 10 organizaciones asociadas son similares a los resultados provenientes de los 30 asociados de la región? 11
� ¿La información es suficiente? El equipo evaluador tendrá que apreciar si existen o no suficientes respuestas a los cuestionarios, entrevistas, etc. para analizar y sacar conclusiones.
� ¿Hay información contradictoria? Por ejemplo, ¿los documentos y las entrevistas revelan situaciones diferentes?¿Es necesario un estudio adicional para corroborar los hallazgos?
11 Gary Anderson, Fundamentals of Educational Research, Falmer Press, Londres, 1995.
Guía para las evaluaciones estratégicas de la UICN
19
� ¿Existen normas con las cuales comparar? En ciertos casos, existen normas organizacionales que el equipo puede utilizar para comparar. Por ejemplo, la Política de Evaluación de la UICN recomienda que se dedique del 3 al 5% de los presupuestos de proyecto y programa a evaluación y seguimiento. Este podría ser un parámetro para juzgar si una unidad dedica suficientes recursos a las funciones de evaluación y seguimiento.
4.3 Clasificación de los datos La matriz de evaluación debería utilizarse como marco para clasificar los datos del cuestionario según los aspectos y preguntas iniciales de la evaluación. Verá que las preguntas efectivamente planteadas en los cuestionarios y en las entrevistas pueden proporcionarle datos para ir más allá de una pregunta o aspecto de la matriz. Remitiéndose constantemente a las preguntas a las que debe responder (que están en la matriz), usted puede mantener presente su objetivo, a pesar de la gran cantidad de información que ahora debe tratar.
Al clasificar los datos es conveniente tener presentes los tres puntos siguientes:
Busque elementos recurrentesExaminar las notas de entrevistas, notas de observación o resultados de cuestionarios en búsqueda de pautas y temas presupone clasificar sus notas en torno a elementos recurrentes que parezcan relevantes con respecto a las preguntas clave de la evaluación.12
Codifique los datosComo se indicó en el capítulo relativo a la incorporación de datos, si codifica sus datos, podrá volver a examinarlos posteriormente y verificar la fuente original. Codifique de modo confidencial -a fin de respetar la confidencialidad que brindó a sus entrevistados- pero de modo tal que el código sea útil. Por ejemplo, podría codificar a los directores como Di1, Di2, etc. y a los donantes como Do1, Do2, etc. para un mejor seguimiento de las fuentes.
Pondere los datosPondere sus datos para estimar cuántas personas interrogadas le dieron la misma respuesta, si la información se confirma a través de diferentes grupos de interlocutores, y si puede confirmarse o refutarse por fuentes externas.
4.4 Realización de una reunión de síntesis para analizar los datos recogidos
Una actividad extremadamente provechosa en el proceso de evaluación estratégica es una reunión de información durante la cual el equipo evaluador presenta los hallazgos preliminares y hace participar a los colegas en un análisis colectivo y una discusión acerca de los datos y los hallazgos. El resultado de esas discusiones se incorpora luego al informe final del equipo de evaluación.
La presencia de directivos superiores de otras regiones en tales reuniones puede estimular y enriquecer los intercambios y debates interregionales sobre los hallazgos de una evaluación.
12 W.K. Kellogg Foundation, Evaluation Handbook, Battle Creek, 1998.
18 19
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
18
4. Efectuar un análisis adecuado de los datos Tras la recolección de datos, la información debe ser descrita, analizada e interpretada, y se deben evaluar los hallazgos. Este proceso puede ser complicado y existe una amplia literatura sobre métodos de investigación y de evaluación que aborda el tema de manera más pormenorizada. En los capítulos siguientes destacamos los aspectos más importantes a considerar al abordar esta etapa.
Es importante reservar suficiente tiempo al análisis de datos, especialmente cuando hay una gran cantidad de información cualitativa.
4.1 La importancia de la triangulación de los datos Es importante que el equipo reduzca las incoherencias y confirme los resultados utilizando más de una fuente. Ello implica recoger las opiniones de más de un grupo e intentar recabar más de un tipo de datos. Cuando se recogen datos de por lo menos tres fuentes diferentes, se "triangulan" los datos. Es ésta una norma importante en materia de recolección de datos; y la información obtenida a partir de varias fuentes diferentes permite efectuar interpretaciones más sólidas.
4.2 Interpretación de los datos Antes de abocarse más a fondo al análisis de los datos, es conveniente examinar toda la información de que se dispone y evaluar si cumple o no con otros criterios, tales como:
� ¿La información es fiable? La fiabilidad remite a la coherencia en la medición.¿Nuestras herramientas habrían obtenido las mismas respuestas aunque se hubiesen aplicado en lugares o momentos diferentes? Para determinar la fiabilidad, podría usted preguntarse si el momento en que se condujeron las entrevistas, u otras condiciones locales, pueden haber influido indebidamente en las respuestas al cuestionario. Al examinar la información cualitativa reunida durante la evaluación, es importante observar si todos los miembros del equipo llegan a la misma conclusión. ¿Llegarían a la misma conclusión personas ajenas al equipo?
� ¿La información es válida?La validez se refiere a la medida en que los métodos y herramientas de recolección de datos miden lo que se supone deben medir - ¿obtuvieron la información buscada? La validez es complementaria de la fiabilidad y se refiere al grado de adecuación entre lo que medimos y lo que se esperaba medir. En las evaluaciones estratégicas es importante considerar la validez interna delas mediciones de datos, la cual está vinculada, por ejemplo, con la veracidad de las respuestas y la exactitud del registro de datos. También es importante interrogarse acerca de la validez externa,o carácter generalizable de los resultados, cuando los datos se extraen de una muestra, en vez de la población total. Por ejemplo, ¿los resultados obtenidos a partir de una muestra de 10 organizaciones asociadas son similares a los resultados provenientes de los 30 asociados de la región? 11
� ¿La información es suficiente? El equipo evaluador tendrá que apreciar si existen o no suficientes respuestas a los cuestionarios, entrevistas, etc. para analizar y sacar conclusiones.
� ¿Hay información contradictoria? Por ejemplo, ¿los documentos y las entrevistas revelan situaciones diferentes?¿Es necesario un estudio adicional para corroborar los hallazgos?
11 Gary Anderson, Fundamentals of Educational Research, Falmer Press, Londres, 1995.
Guía para las evaluaciones estratégicas de la UICN
19
� ¿Existen normas con las cuales comparar? En ciertos casos, existen normas organizacionales que el equipo puede utilizar para comparar. Por ejemplo, la Política de Evaluación de la UICN recomienda que se dedique del 3 al 5% de los presupuestos de proyecto y programa a evaluación y seguimiento. Este podría ser un parámetro para juzgar si una unidad dedica suficientes recursos a las funciones de evaluación y seguimiento.
4.3 Clasificación de los datos La matriz de evaluación debería utilizarse como marco para clasificar los datos del cuestionario según los aspectos y preguntas iniciales de la evaluación. Verá que las preguntas efectivamente planteadas en los cuestionarios y en las entrevistas pueden proporcionarle datos para ir más allá de una pregunta o aspecto de la matriz. Remitiéndose constantemente a las preguntas a las que debe responder (que están en la matriz), usted puede mantener presente su objetivo, a pesar de la gran cantidad de información que ahora debe tratar.
Al clasificar los datos es conveniente tener presentes los tres puntos siguientes:
Busque elementos recurrentesExaminar las notas de entrevistas, notas de observación o resultados de cuestionarios en búsqueda de pautas y temas presupone clasificar sus notas en torno a elementos recurrentes que parezcan relevantes con respecto a las preguntas clave de la evaluación.12
Codifique los datosComo se indicó en el capítulo relativo a la incorporación de datos, si codifica sus datos, podrá volver a examinarlos posteriormente y verificar la fuente original. Codifique de modo confidencial -a fin de respetar la confidencialidad que brindó a sus entrevistados- pero de modo tal que el código sea útil. Por ejemplo, podría codificar a los directores como Di1, Di2, etc. y a los donantes como Do1, Do2, etc. para un mejor seguimiento de las fuentes.
Pondere los datosPondere sus datos para estimar cuántas personas interrogadas le dieron la misma respuesta, si la información se confirma a través de diferentes grupos de interlocutores, y si puede confirmarse o refutarse por fuentes externas.
4.4 Realización de una reunión de síntesis para analizar los datos recogidos
Una actividad extremadamente provechosa en el proceso de evaluación estratégica es una reunión de información durante la cual el equipo evaluador presenta los hallazgos preliminares y hace participar a los colegas en un análisis colectivo y una discusión acerca de los datos y los hallazgos. El resultado de esas discusiones se incorpora luego al informe final del equipo de evaluación.
La presencia de directivos superiores de otras regiones en tales reuniones puede estimular y enriquecer los intercambios y debates interregionales sobre los hallazgos de una evaluación.
12 W.K. Kellogg Foundation, Evaluation Handbook, Battle Creek, 1998.
20
Guía para las eva luac iones es t ra tég icas de la UICN
21
Guía para las evaluaciones estratégicas de la UICN
20
5. Informar sobre los resultados de las evaluaciones estratégicas A continuación se presenta el procedimiento utilizado actualmente para informar sobre los resultados de las evaluaciones estratégicas en la UICN:
1. Al final del proceso de evaluación, el equipo evaluador realiza una reunión de información, conjuntamente con los directivos y el personal, a fin de discutir acerca de los hallazgos preliminares y cuestiones que surgen de la evaluación. Esta reunión tiene lugar antes de la preparación del informe final.
2. El responsable del equipo evaluador entrega un proyecto de informe final simultáneamente al encargado del programa y al Director General y/o al Director del Programa Mundial.
3. Si el proceso de evaluación revela cuestiones de dirección o de personal sumamente delicadas, el responsable del equipo evaluador envía una carta confidencial al Director General y/o al Director del Programa Mundial destacando los problemas y, si cabe, integrando recomendaciones. En la medida de lo posible, todos los resultados de una evaluación deberían figurar en el informe final, reservando la opción de una carta de este tipo únicamente para circunstancias extremas.
4. Se reciben los comentarios de los directivos de programa sobre el proyecto de informe.
5. El equipo de evaluación prepara un informe final, que entrega simultáneamente al encargado del programa y al Director General y/o al Director del Programa Mundial.
6. El responsable del equipo de evaluación presenta los principales hallazgos, conclusiones y recomendaciones de la evaluación al Grupo de Dirección Ejecutiva (EMG). Este grupo puede solicitar información adicional al equipo evaluador en esta etapa.
7. Se concluye el informe de la evaluación estratégica y se envía a todas las partes interesadas.
8. Se entrega el informe final a la oficina de S&E a fin de incluirlo en la base de datos de evaluaciones, junto con un resumen para la página Internet de la UICN sobre evaluación.
9. Se organizan presentaciones especiales de los resultados para públicos específicos tales como directores de la UICN de otras regiones, el GPP (Grupo de Política y Programas) y otros grupos especializados en materia de gestión.
En los siguientes capítulos se brindan consejos para mejorar los métodos de información sobre los resultados de la evaluación.
5.1 Conozca a sus diversos públicos Para transmitir de manera eficaz los resultados de una evaluación es necesario conocer el papel específico que desempeñan los diferentes grupos en el programa que se está examinando o en la estructura de gestión o de gobierno de la Unión (Congreso, Consejo, Comités Regionales o Nacionales).
Al comunicar los resultados de la evaluación, el equipo evaluador debe comprender las expectativas del personal, del Consejo, de los donantes, de los miembros, de los asociados, etc. y adaptar su presentación en consecuencia. Le recomendamos utilizar, en cada presentación, gráficos y diagramas para presentar los datos.
Guía para las evaluaciones estratégicas de la UICN
21
5.2 Las bases de un buen informe escrito Si bien el equipo de evaluación puede comunicar sus hallazgos por diferentes medios, el informe escrito oficial es el principal resultado o producto de la evaluación estratégica. Se convierte en el registro oficial de lo sucedido durante el proceso y de las evaluaciones realizadas. El equipo evaluador debe desarrollar una estructura adecuada a un contexto específico, pero intentando, a la vez, lograr cierta coherencia en los informes de las diversas evaluaciones de la Unión. Por lo tanto, recomendamos que el informe incluya los elementos señalados en el recuadro de la derecha.
El equipo evaluador deberá corroborar otros criterios importantes para los informes de la UICN, entre ellos:
� ¿El informe trata de los principales aspectos de evaluación establecidos en los TR?
� ¿Los hallazgos presentados se basan claramente en los datos?
� ¿Las conclusiones o juicios efectuados se basan claramente en los hallazgos?
Recuerde igualmente que es conveniente que el cuerpo principal del informe no supere una longitud razonable (30 a 50 páginas como máximo) a fin de obtener un documento más legible. Se pueden utilizar apéndices para presentar gráficos suplementarios u otros tipos de información.
5.3 Utilizar el informe para implementar cambios Las evaluaciones estratégicas insumen tiempo y recursos y deberían considerarse como herramientas importantes de gestión del cambio. Los directivos deben cerciorarse de que los resultados de la evaluación se utilizan para mejorar el desempeño de la UICN.
El Grupo de Dirección Ejecutiva o el Director de Programa Mundial solicitarán un plan de acción a los directivos responsables del programa evaluado. Si corresponde, debería convocarse al personal y a los actores principales del programa a fin de elaborar un plan de acción y mecanismos para supervisar su implementación.
5.4 Del informe a un plan de acción Al elaborar un plan de acción, es importante que los participantes sigan distintos pasos. Se presenta más abajo un formato posible para un plan de acción.
Identificar las recomendaciones que pueden llevarse a la prácticaLas evaluaciones estratégicas pueden generar una serie de recomendaciones destinadas al personal y a los directivos regionales, a las sedes y a otras unidades de la organización. Dichas recomendaciones deben ser valoradas por los actores pertinentes, los cuales evaluarán su viabilidad y calendario de implementación. Asimismo, deberían fijarse prioridades. No siempre es posible invertir una cantidad equivalente de tiempo y recursos para cada una de las recomendaciones al mismo tiempo.
Contenidos recomendados para un informe oficial de evaluación
� Resumen y comentarios
� Índice
� Lista de acrónimos, siglas o abreviaturas
� Introducción
� Objetivo de la evaluación
� Contexto y descripción del programa nacional o regional
� Aspectos y preguntas de la evaluación
� Metodología
� Hallazgos
� Conclusiones y recomendaciones
� Plan de acción
� Apéndices – TR, matriz de evaluación, herramientas de recolección de datos
20 21
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
20
5. Informar sobre los resultados de las evaluaciones estratégicas A continuación se presenta el procedimiento utilizado actualmente para informar sobre los resultados de las evaluaciones estratégicas en la UICN:
1. Al final del proceso de evaluación, el equipo evaluador realiza una reunión de información, conjuntamente con los directivos y el personal, a fin de discutir acerca de los hallazgos preliminares y cuestiones que surgen de la evaluación. Esta reunión tiene lugar antes de la preparación del informe final.
2. El responsable del equipo evaluador entrega un proyecto de informe final simultáneamente al encargado del programa y al Director General y/o al Director del Programa Mundial.
3. Si el proceso de evaluación revela cuestiones de dirección o de personal sumamente delicadas, el responsable del equipo evaluador envía una carta confidencial al Director General y/o al Director del Programa Mundial destacando los problemas y, si cabe, integrando recomendaciones. En la medida de lo posible, todos los resultados de una evaluación deberían figurar en el informe final, reservando la opción de una carta de este tipo únicamente para circunstancias extremas.
4. Se reciben los comentarios de los directivos de programa sobre el proyecto de informe.
5. El equipo de evaluación prepara un informe final, que entrega simultáneamente al encargado del programa y al Director General y/o al Director del Programa Mundial.
6. El responsable del equipo de evaluación presenta los principales hallazgos, conclusiones y recomendaciones de la evaluación al Grupo de Dirección Ejecutiva (EMG). Este grupo puede solicitar información adicional al equipo evaluador en esta etapa.
7. Se concluye el informe de la evaluación estratégica y se envía a todas las partes interesadas.
8. Se entrega el informe final a la oficina de S&E a fin de incluirlo en la base de datos de evaluaciones, junto con un resumen para la página Internet de la UICN sobre evaluación.
9. Se organizan presentaciones especiales de los resultados para públicos específicos tales como directores de la UICN de otras regiones, el GPP (Grupo de Política y Programas) y otros grupos especializados en materia de gestión.
En los siguientes capítulos se brindan consejos para mejorar los métodos de información sobre los resultados de la evaluación.
5.1 Conozca a sus diversos públicos Para transmitir de manera eficaz los resultados de una evaluación es necesario conocer el papel específico que desempeñan los diferentes grupos en el programa que se está examinando o en la estructura de gestión o de gobierno de la Unión (Congreso, Consejo, Comités Regionales o Nacionales).
Al comunicar los resultados de la evaluación, el equipo evaluador debe comprender las expectativas del personal, del Consejo, de los donantes, de los miembros, de los asociados, etc. y adaptar su presentación en consecuencia. Le recomendamos utilizar, en cada presentación, gráficos y diagramas para presentar los datos.
Guía para las evaluaciones estratégicas de la UICN
21
5.2 Las bases de un buen informe escrito Si bien el equipo de evaluación puede comunicar sus hallazgos por diferentes medios, el informe escrito oficial es el principal resultado o producto de la evaluación estratégica. Se convierte en el registro oficial de lo sucedido durante el proceso y de las evaluaciones realizadas. El equipo evaluador debe desarrollar una estructura adecuada a un contexto específico, pero intentando, a la vez, lograr cierta coherencia en los informes de las diversas evaluaciones de la Unión. Por lo tanto, recomendamos que el informe incluya los elementos señalados en el recuadro de la derecha.
El equipo evaluador deberá corroborar otros criterios importantes para los informes de la UICN, entre ellos:
� ¿El informe trata de los principales aspectos de evaluación establecidos en los TR?
� ¿Los hallazgos presentados se basan claramente en los datos?
� ¿Las conclusiones o juicios efectuados se basan claramente en los hallazgos?
Recuerde igualmente que es conveniente que el cuerpo principal del informe no supere una longitud razonable (30 a 50 páginas como máximo) a fin de obtener un documento más legible. Se pueden utilizar apéndices para presentar gráficos suplementarios u otros tipos de información.
5.3 Utilizar el informe para implementar cambios Las evaluaciones estratégicas insumen tiempo y recursos y deberían considerarse como herramientas importantes de gestión del cambio. Los directivos deben cerciorarse de que los resultados de la evaluación se utilizan para mejorar el desempeño de la UICN.
El Grupo de Dirección Ejecutiva o el Director de Programa Mundial solicitarán un plan de acción a los directivos responsables del programa evaluado. Si corresponde, debería convocarse al personal y a los actores principales del programa a fin de elaborar un plan de acción y mecanismos para supervisar su implementación.
5.4 Del informe a un plan de acción Al elaborar un plan de acción, es importante que los participantes sigan distintos pasos. Se presenta más abajo un formato posible para un plan de acción.
Identificar las recomendaciones que pueden llevarse a la prácticaLas evaluaciones estratégicas pueden generar una serie de recomendaciones destinadas al personal y a los directivos regionales, a las sedes y a otras unidades de la organización. Dichas recomendaciones deben ser valoradas por los actores pertinentes, los cuales evaluarán su viabilidad y calendario de implementación. Asimismo, deberían fijarse prioridades. No siempre es posible invertir una cantidad equivalente de tiempo y recursos para cada una de las recomendaciones al mismo tiempo.
Contenidos recomendados para un informe oficial de evaluación
� Resumen y comentarios
� Índice
� Lista de acrónimos, siglas o abreviaturas
� Introducción
� Objetivo de la evaluación
� Contexto y descripción del programa nacional o regional
� Aspectos y preguntas de la evaluación
� Metodología
� Hallazgos
� Conclusiones y recomendaciones
� Plan de acción
� Apéndices – TR, matriz de evaluación, herramientas de recolección de datos
22
Guía para las eva luac iones es t ra tég icas de la UICN
23
Guía para las evaluaciones estratégicas de la UICN
22
Identificar los directivos responsables de la aplicación de las recomendaciones Para implementar el cambio, debe contarse con un "paladín", alguien que impulse el proceso dentro de la organización. Al elaborar el plan de acción, es esencial determinar quién estará encargado de supervisar la puesta en práctica de cada una de las recomendaciones que se han priorizado.
Determinar los pasos necesarios para la aplicación de las recomendaciones Cada recomendación requerirá una serie de medidas para hacerla avanzar. Los actores interesados deberán proponer libremente ideas sobre las medidas a emprender.
Establecer un calendario para la aplicación de las recomendaciones
El paso siguiente es fijar etapas y un calendario para finalizar las acciones.
Figura 2.7 Formato posible para un plan de acción
RECOMENDACIÓN DE LA EVALUACIÓN
MEDIDAS PARA APLICARLA
RESPONSABLE ETAPAS PLAZOS
1. Recomendación Medida 1
Medida 2
Medida 3
¿Quién dirige? ¿Cuáles son los productos o cambios principales que nos ayudarán a medir el avance de la aplicación?
¿Cuándo deberán concretarse las diversas etapas?
5.5 Seguimiento eficaz del plan de acción La implementación de las recomendaciones de la evaluación debería formar parte del plan de trabajo del programa o de la unidad. El avance de la implementación debería formar parte del proceso de supervisión y del informe trimestral.
Es importante que las partes interesadas estén informadas del proceso de rendición de cuentas acerca de la implementación de la evaluación y reciban informes periódicos y actualizados sobre su avance.
Guía para las evaluaciones estratégicas de la UICN
23
Apéndice I – Identificar los aspectos del desempeño
ASPECTO DEL DESEMPEÑO
EJEMPLOS DE PREGUNTAS (TOMADAS DEL MANUAL ENHANCING ORGANIZATIONAL EFFECTIVENESS TOOLBOOK; PUEDEN SER ADAPTADAS)
1. Pertinencia � ¿Qué nivel de pertinencia tiene la labor de la unidad en relación con las áreas principales de resultados y los ámbitos temáticos principales (conocimiento, habilitación, gobernanza, operaciones) de la Unión?
� ¿Qué grado de pertinencia tiene la labor de la unidad con respecto a las necesidades de sus constituyentes y partes interesadas?
� ¿La labor de la unidad representa una reflexión de avanzada en materia de conservación y desarrollo?
� ¿De qué nivel de credibilidad goza la unidad dentro y fuera de la UICN?
� ¿Qué influencia tiene dentro y fuera de la UICN?
2. Eficacia � ¿En qué medida está el programa de la unidad vinculado con la misión, visión, estrategia, áreas principales de resultados y ámbitos temáticos principales (conocimiento, habilitación, gobernanza, operaciones) de la UICN?
� ¿En qué medida la unidad ha cumplido sus planes anuales y estratégicos?¿Cuáles son las razones principales que explican la diferencia entre los resultados previstos y los alcanzados?
� ¿En qué medida la unidad ha logrado y vinculado sus resultados con las áreas principales de resultados del Programa Cuadrianual de la UICN? ?¿Cuáles son las razones principales que explican la diferencia entre los resultados previstos y los alcanzados?
� ¿Cómo respondió la unidad a eventos imprevistos e inesperados?
� ¿En qué medida incorporó la unidad nuevas ideas a través de la Unión, e innovación proveniente de otras fuentes?
� ¿En qué medida la unidad cooperó con otras partes de la Unión, a nivel regional y mundial?
3. Eficiencia � ¿La unidad gestionó adecuadamente sus recursos (personal, fondos, tiempo)?
� ¿Cómo empleó los principales fondos recibidos (invirtiendo en nuevos procesos, financiando actividades ordinarias, capital de riesgo, financiamiento de contrapartidas, etc.)?
� ¿Cuál es la relación numérica entre personal técnico y administrativo?
� ¿Cuán eficientes son las prácticas y procedimientos de trabajo?
4. Impacto � ¿Sabe la unidad qué impacto ha tenido? ¿Cómo lo ha medido o estimado?
� ¿Qué impacto tiene la unidad dentro y fuera de la UICN?
� ¿Cuáles son los principales hitos de la unidad en materia de impacto?
5. Viabilidad financiera
� ¿Cuán adecuado es el nivel de financiación de la unidad en relación con los resultados esperados de su programa?
� ¿Cuán amplia es la base de financiación de la unidad, tanto en número como en variedad de sus fuentes de financiación y en las sumas obtenidas de cada fuente?
� ¿Cuán dependiente ha sido la unidad con respecto a los fondos presupuestarios (asignados y no asignados) durante los últimos tres años? ¿Por qué?
���������������������� ¿En qué medida logró la unidad obtener apoyo financiero externo (exterior a la UICN) para sus actividades? ¿Cuáles son los motivos de su éxito o fracaso en obtener apoyo externo? ¿Qué relación tiene esto con la pertinencia y el impacto de las actividades de la unidad?
� ¿Logró la unidad mantener los gastos dentro de los límites del presupuesto durante los últimos tres años? ¿Se vio la unidad obligada a reducir personal debido a limitaciones financieras?
22 23
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
22
Identificar los directivos responsables de la aplicación de las recomendaciones Para implementar el cambio, debe contarse con un "paladín", alguien que impulse el proceso dentro de la organización. Al elaborar el plan de acción, es esencial determinar quién estará encargado de supervisar la puesta en práctica de cada una de las recomendaciones que se han priorizado.
Determinar los pasos necesarios para la aplicación de las recomendaciones Cada recomendación requerirá una serie de medidas para hacerla avanzar. Los actores interesados deberán proponer libremente ideas sobre las medidas a emprender.
Establecer un calendario para la aplicación de las recomendaciones
El paso siguiente es fijar etapas y un calendario para finalizar las acciones.
Figura 2.7 Formato posible para un plan de acción
RECOMENDACIÓN DE LA EVALUACIÓN
MEDIDAS PARA APLICARLA
RESPONSABLE ETAPAS PLAZOS
1. Recomendación Medida 1
Medida 2
Medida 3
¿Quién dirige? ¿Cuáles son los productos o cambios principales que nos ayudarán a medir el avance de la aplicación?
¿Cuándo deberán concretarse las diversas etapas?
5.5 Seguimiento eficaz del plan de acción La implementación de las recomendaciones de la evaluación debería formar parte del plan de trabajo del programa o de la unidad. El avance de la implementación debería formar parte del proceso de supervisión y del informe trimestral.
Es importante que las partes interesadas estén informadas del proceso de rendición de cuentas acerca de la implementación de la evaluación y reciban informes periódicos y actualizados sobre su avance.
Guía para las evaluaciones estratégicas de la UICN
23
Apéndice I – Identificar los aspectos del desempeño
ASPECTO DEL DESEMPEÑO
EJEMPLOS DE PREGUNTAS (TOMADAS DEL MANUAL ENHANCING ORGANIZATIONAL EFFECTIVENESS TOOLBOOK; PUEDEN SER ADAPTADAS)
1. Pertinencia � ¿Qué nivel de pertinencia tiene la labor de la unidad en relación con las áreas principales de resultados y los ámbitos temáticos principales (conocimiento, habilitación, gobernanza, operaciones) de la Unión?
� ¿Qué grado de pertinencia tiene la labor de la unidad con respecto a las necesidades de sus constituyentes y partes interesadas?
� ¿La labor de la unidad representa una reflexión de avanzada en materia de conservación y desarrollo?
� ¿De qué nivel de credibilidad goza la unidad dentro y fuera de la UICN?
� ¿Qué influencia tiene dentro y fuera de la UICN?
2. Eficacia � ¿En qué medida está el programa de la unidad vinculado con la misión, visión, estrategia, áreas principales de resultados y ámbitos temáticos principales (conocimiento, habilitación, gobernanza, operaciones) de la UICN?
� ¿En qué medida la unidad ha cumplido sus planes anuales y estratégicos?¿Cuáles son las razones principales que explican la diferencia entre los resultados previstos y los alcanzados?
� ¿En qué medida la unidad ha logrado y vinculado sus resultados con las áreas principales de resultados del Programa Cuadrianual de la UICN? ?¿Cuáles son las razones principales que explican la diferencia entre los resultados previstos y los alcanzados?
� ¿Cómo respondió la unidad a eventos imprevistos e inesperados?
� ¿En qué medida incorporó la unidad nuevas ideas a través de la Unión, e innovación proveniente de otras fuentes?
� ¿En qué medida la unidad cooperó con otras partes de la Unión, a nivel regional y mundial?
3. Eficiencia � ¿La unidad gestionó adecuadamente sus recursos (personal, fondos, tiempo)?
� ¿Cómo empleó los principales fondos recibidos (invirtiendo en nuevos procesos, financiando actividades ordinarias, capital de riesgo, financiamiento de contrapartidas, etc.)?
� ¿Cuál es la relación numérica entre personal técnico y administrativo?
� ¿Cuán eficientes son las prácticas y procedimientos de trabajo?
4. Impacto � ¿Sabe la unidad qué impacto ha tenido? ¿Cómo lo ha medido o estimado?
� ¿Qué impacto tiene la unidad dentro y fuera de la UICN?
� ¿Cuáles son los principales hitos de la unidad en materia de impacto?
5. Viabilidad financiera
� ¿Cuán adecuado es el nivel de financiación de la unidad en relación con los resultados esperados de su programa?
� ¿Cuán amplia es la base de financiación de la unidad, tanto en número como en variedad de sus fuentes de financiación y en las sumas obtenidas de cada fuente?
� ¿Cuán dependiente ha sido la unidad con respecto a los fondos presupuestarios (asignados y no asignados) durante los últimos tres años? ¿Por qué?
���������������������� ¿En qué medida logró la unidad obtener apoyo financiero externo (exterior a la UICN) para sus actividades? ¿Cuáles son los motivos de su éxito o fracaso en obtener apoyo externo? ¿Qué relación tiene esto con la pertinencia y el impacto de las actividades de la unidad?
� ¿Logró la unidad mantener los gastos dentro de los límites del presupuesto durante los últimos tres años? ¿Se vio la unidad obligada a reducir personal debido a limitaciones financieras?
24
Guía para las eva luac iones es t ra tég icas de la UICN
25
Guía para las evaluaciones estratégicas de la UICN
24
Apéndice II – Identificar los factores que afectan el desempeño
FACTOR PREGUNTAS CLAVES
1. Capacidad Liderazgo estratégico
� ¿Tiene la unidad un plan estratégico para orientar su trabajo? ¿Quién participó en su elaboración? ¿Es conforme con la estrategia global de la UICN? ¿Es conocido y cuenta con el respaldo de los miembros o constituyentes de la unidad? ¿Se lo utiliza habitualmente para tomar decisiones?
� ¿Existe un proceso de seguimiento de la aplicación del plan estratégico?
� ¿Cuán eficaz es el personal directivo en el rol de liderazgo estratégico?
� ¿Cuán participativo es el estilo de la unidad?
� ¿Conocen y utilizan los directores y administradores de la unidad la gestión por "nichos" para ayudar a obtener resultados?
� ¿El personal de dirección vela por que la unidad realice análisis de situación periódicos a fin de tomar decisiones estratégicas sobre su programa y las instituciones con las cuales trabaja?
� ¿Qué mecanismos u órganos de gobernanza existen y en qué medida funcionan? (comités consultivos de miembros nacionales o regionales, o equivalentes)
� ¿Qué procesos de desarrollo organizacional y de evaluación interna tienen lugar y qué impacto están teniendo?
Estructura
� ¿La estructura de la unidad (gestión, toma de decisión) facilita o dificulta el logro de sus resultados?
� ¿Están las funciones y las responsabilidades claramente definidas?
� ¿Existen vínculos adecuados u oportunidades de vincularse con otros programas y proyectos cuando es necesario?
� ¿La toma de decisiones está claramente definida y correctamente descentralizada?
� ¿Cuenta el personal con autoridad para establecer planes y actuar en consecuencia?
Planificación y gestión de los programas
� ¿El personal, a sus diversos niveles, recibe orientación adecuada por parte de los directivos de la unidad?
� ¿Están los programas y proyectos vinculados con las demás unidades y programas de la UICN (integración horizontal y vertical)?
� ¿De qué modo participan los miembros y las Comisiones en la ejecución del programa?
� ¿Cuán innovadores son los programas y los proyectos?
� ¿Los programas y los proyectos entregan los productos previstos a tiempo?
� ¿Cuenta la unidad con los recursos, sistemas de gestión y estructuras adecuados para llevar a cabo eficazmente el programa planeado?
Gestión de los recursos humanos
� ¿En qué medida los perfiles del personal corresponden a las necesidades del proyecto y del programa?
� ¿Existen incentivos destinados a promover un buen desempeño y un avance en la carrera?¿Para qué tipo de comportamientos existen incentivos?
� ¿Hay un programa de formación para el personal?
� ¿El ambiente de trabajo es adecuado?
� ¿Existe un mecanismo de equidad de género y se lo utiliza eficazmente?
� ¿Hay cuestiones no resueltas en cuanto a igualdad de salarios? ?
� ¿Existe una función mediación (ombudsman o grupo que represente los intereses del personal) ? ¿Es utilizada?
Guía para las evaluaciones estratégicas de la UICN
25
FACTOR PREGUNTAS CLAVES
� ¿Existen procedimientos adecuados de contratación y de orientación del personal?
� ¿Existe un sistema de evaluación del personal eficaz y positivo, y es utilizado?
� ¿Existe una política eficaz de gestión, supervisión y asesoramiento del personal?
Gestión de los recursos financieros
� ¿Hay una estrategia financiera o un plan de actividades explícitos?
� ¿Existe un mecanismo adecuado de presupuestación? ¿Es participativo?
� ¿Reciben los directivos a distintos niveles información financiera exacta y oportuna?
� ¿Se utilizan a tiempo los recursos del proyecto?
� ¿Existe un mecanismo de auditoría? ¿Cuáles son sus resultados?
� ¿Se suministran eficazmente servicios financieros a sub-unidades (por ejemplo, proyectos)?
Seguimiento y evaluación
� ¿Está el personal formado y capacitado para el seguimiento y la evaluación?
� ¿Qué tipos de procesos de S&E existen –con fines de aprendizaje, rendición de cuentas, control?
� ¿Qué programas y procesos están realizando S&E? ¿Hay deficiencias importantes?
� ¿De qué modo se incorporan los resultados de S&E en la presentación de informes y en la toma de decisiones?
Infraestructura y apoyo logístico
� ¿Son los locales y el material (vehículos, ordenadores) apropiados para producir los resultados esperados - y es adecuada su gestión?
� ¿La tecnología de la comunicación (gestión de la información, Internet, líneas telefónicas) es adecuada para respaldar eficazmente el programa?
Otros factores relacionados con la capacidad:
� Gestión de procesos- ¿Existen procesos de resolución de conflictos y funcionan de manera satisfactoria para el personal?
� Nexos interinstitucionales – ¿La unidad colabora adecuadamente con asociados, donantes y otras organizaciones?
2. Motivación Historia y misión
� ¿Cuáles son los hitos en la historia de la unidad?
� ¿Cómo evolucionó la unidad a lo largo del tiempo?
� ¿Tiene el personal un claro sentido de su misión? ¿Es tal misión coherente con la Misión de la UICN?
Cultura
� ¿Cuáles son las principales características de la unidad, tal y como las perciben los diferentes grupos dentro y fuera de la unidad y cómo dichas características afectan el desempeño de la unidad?
� ¿Cuál es el estado de motivación del personal?
� ¿Qué grado de compromiso tienen el personal y los directivos?
Incentivos y recompensas
� ¿Cuál es la percepción del personal sobre los incentivos?
� ¿Cómo percibe el personal la situación de la unidad por lo que hace a sus propios intereses y carreras?
� ¿Cómo percibe el personal el nivel de equidad dentro de la unidad?
3. Contexto externo Partes interesadas
� ¿Quiénes son las principales partes interesadas para la unidad?
� ¿Cómo valoran las partes interesadas los productos y servicios de la unidad?
� ¿En qué medida ha respondido la unidad a las necesidades y pedidos de las partes interesadas?
24 25
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
24
Apéndice II – Identificar los factores que afectan el desempeño
FACTOR PREGUNTAS CLAVES
1. Capacidad Liderazgo estratégico
� ¿Tiene la unidad un plan estratégico para orientar su trabajo? ¿Quién participó en su elaboración? ¿Es conforme con la estrategia global de la UICN? ¿Es conocido y cuenta con el respaldo de los miembros o constituyentes de la unidad? ¿Se lo utiliza habitualmente para tomar decisiones?
� ¿Existe un proceso de seguimiento de la aplicación del plan estratégico?
� ¿Cuán eficaz es el personal directivo en el rol de liderazgo estratégico?
� ¿Cuán participativo es el estilo de la unidad?
� ¿Conocen y utilizan los directores y administradores de la unidad la gestión por "nichos" para ayudar a obtener resultados?
� ¿El personal de dirección vela por que la unidad realice análisis de situación periódicos a fin de tomar decisiones estratégicas sobre su programa y las instituciones con las cuales trabaja?
� ¿Qué mecanismos u órganos de gobernanza existen y en qué medida funcionan? (comités consultivos de miembros nacionales o regionales, o equivalentes)
� ¿Qué procesos de desarrollo organizacional y de evaluación interna tienen lugar y qué impacto están teniendo?
Estructura
� ¿La estructura de la unidad (gestión, toma de decisión) facilita o dificulta el logro de sus resultados?
� ¿Están las funciones y las responsabilidades claramente definidas?
� ¿Existen vínculos adecuados u oportunidades de vincularse con otros programas y proyectos cuando es necesario?
� ¿La toma de decisiones está claramente definida y correctamente descentralizada?
� ¿Cuenta el personal con autoridad para establecer planes y actuar en consecuencia?
Planificación y gestión de los programas
� ¿El personal, a sus diversos niveles, recibe orientación adecuada por parte de los directivos de la unidad?
� ¿Están los programas y proyectos vinculados con las demás unidades y programas de la UICN (integración horizontal y vertical)?
� ¿De qué modo participan los miembros y las Comisiones en la ejecución del programa?
� ¿Cuán innovadores son los programas y los proyectos?
� ¿Los programas y los proyectos entregan los productos previstos a tiempo?
� ¿Cuenta la unidad con los recursos, sistemas de gestión y estructuras adecuados para llevar a cabo eficazmente el programa planeado?
Gestión de los recursos humanos
� ¿En qué medida los perfiles del personal corresponden a las necesidades del proyecto y del programa?
� ¿Existen incentivos destinados a promover un buen desempeño y un avance en la carrera?¿Para qué tipo de comportamientos existen incentivos?
� ¿Hay un programa de formación para el personal?
� ¿El ambiente de trabajo es adecuado?
� ¿Existe un mecanismo de equidad de género y se lo utiliza eficazmente?
� ¿Hay cuestiones no resueltas en cuanto a igualdad de salarios? ?
� ¿Existe una función mediación (ombudsman o grupo que represente los intereses del personal) ? ¿Es utilizada?
Guía para las evaluaciones estratégicas de la UICN
25
FACTOR PREGUNTAS CLAVES
� ¿Existen procedimientos adecuados de contratación y de orientación del personal?
� ¿Existe un sistema de evaluación del personal eficaz y positivo, y es utilizado?
� ¿Existe una política eficaz de gestión, supervisión y asesoramiento del personal?
Gestión de los recursos financieros
� ¿Hay una estrategia financiera o un plan de actividades explícitos?
� ¿Existe un mecanismo adecuado de presupuestación? ¿Es participativo?
� ¿Reciben los directivos a distintos niveles información financiera exacta y oportuna?
� ¿Se utilizan a tiempo los recursos del proyecto?
� ¿Existe un mecanismo de auditoría? ¿Cuáles son sus resultados?
� ¿Se suministran eficazmente servicios financieros a sub-unidades (por ejemplo, proyectos)?
Seguimiento y evaluación
� ¿Está el personal formado y capacitado para el seguimiento y la evaluación?
� ¿Qué tipos de procesos de S&E existen –con fines de aprendizaje, rendición de cuentas, control?
� ¿Qué programas y procesos están realizando S&E? ¿Hay deficiencias importantes?
� ¿De qué modo se incorporan los resultados de S&E en la presentación de informes y en la toma de decisiones?
Infraestructura y apoyo logístico
� ¿Son los locales y el material (vehículos, ordenadores) apropiados para producir los resultados esperados - y es adecuada su gestión?
� ¿La tecnología de la comunicación (gestión de la información, Internet, líneas telefónicas) es adecuada para respaldar eficazmente el programa?
Otros factores relacionados con la capacidad:
� Gestión de procesos- ¿Existen procesos de resolución de conflictos y funcionan de manera satisfactoria para el personal?
� Nexos interinstitucionales – ¿La unidad colabora adecuadamente con asociados, donantes y otras organizaciones?
2. Motivación Historia y misión
� ¿Cuáles son los hitos en la historia de la unidad?
� ¿Cómo evolucionó la unidad a lo largo del tiempo?
� ¿Tiene el personal un claro sentido de su misión? ¿Es tal misión coherente con la Misión de la UICN?
Cultura
� ¿Cuáles son las principales características de la unidad, tal y como las perciben los diferentes grupos dentro y fuera de la unidad y cómo dichas características afectan el desempeño de la unidad?
� ¿Cuál es el estado de motivación del personal?
� ¿Qué grado de compromiso tienen el personal y los directivos?
Incentivos y recompensas
� ¿Cuál es la percepción del personal sobre los incentivos?
� ¿Cómo percibe el personal la situación de la unidad por lo que hace a sus propios intereses y carreras?
� ¿Cómo percibe el personal el nivel de equidad dentro de la unidad?
3. Contexto externo Partes interesadas
� ¿Quiénes son las principales partes interesadas para la unidad?
� ¿Cómo valoran las partes interesadas los productos y servicios de la unidad?
� ¿En qué medida ha respondido la unidad a las necesidades y pedidos de las partes interesadas?
26
Guía para las eva luac iones es t ra tég icas de la UICN
27
Guía para las evaluaciones estratégicas de la UICN
26
FACTOR PREGUNTAS CLAVES
� ¿Quiénes son los actores que colaboran con la unidad? ¿Cómo perciben éstos la colaboración con la unidad? (¿valor añadido?)
� ¿Quiénes representan la competencia para la unidad? ¿Por qué son competidores y no colaboradores? ¿Están ocupando el terreno de acción de la unidad? ¿Por qué?
� ¿Cómo perciben los donantes y proveedores de fondos el valor de los productos y servicios de la unidad?
� ¿Cómo se ve afectada la unidad por las tendencias de los donantes en materia de financiación?
� ¿Cómo afecta a la unidad el entorno político y socioeconómico?
� ¿De qué modo se ve afectada la unidad por el contexto jurídico y administrativo del país o región?
Guí
a pa
ra la
s ev
alua
cion
es e
stra
tégi
cas
de la
UIC
N
27
Ap
énd
ice
III –
Eje
mp
lo d
e m
atri
z d
e ev
alu
ació
n u
tiliz
ada
en la
eva
luac
ión
es
trat
égic
a d
e B
RA
O, 2
002
Intr
odu
cció
n
AS
PE
CTO
S A
EV
AL
UA
RP
RE
GU
NT
AS
AL
GU
NO
S D
E L
OS
IND
ICA
DO
RE
S
PR
OP
UE
STO
SF
UE
NTE
S D
E D
ATO
S P
RO
PU
ES
TA
S
MÉ
TOD
OS
DE
R
EC
OL
EC
CIÓ
N D
E
DA
TOS
PR
OP
UE
STO
S
(HE
RR
AM
IEN
TA
S)
1) L
a pe
rtine
ncia
y
razó
n de
ser
del
pr
ogra
ma
de B
RA
O c
on
resp
ecto
a lo
spr
oble
mas
y te
nden
cias
de
l des
arro
llo
sost
enib
le (p
obla
ción
y
ecos
iste
mas
) en
la
regi
ón
1.1
¿Cuá
les
son
las
prin
cipa
les
cues
tione
s de
l des
arro
llo s
oste
nibl
e de
la
regi
ón q
ue a
fect
an a
la p
obla
ción
y a
lo
s ec
osis
tem
as?
Prin
cipa
les
cues
tione
s de
l de
sarr
ollo
sos
teni
ble
id
entif
icad
as e
n lo
s do
cum
ento
s de
la U
ICN
y d
e BR
AO
Con
verg
enci
a de
las
cues
tione
s de
l des
arro
llo
sost
enib
le d
e la
regi
ón q
ue
afec
tan
a la
pob
laci
ón y
a lo
s ec
osis
tem
as d
escr
itos
en lo
s do
cum
ento
s de
BR
AO
con
las
perc
epci
ones
de
tale
s cu
estio
nes
por l
as p
arte
s in
tere
sada
s en
el p
rogr
ama
Doc
umen
tos
de B
RAO
Dire
ctor
es/J
efes
de
Ofic
inas
N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
1.
2 ¿C
uán
perti
nent
e es
el p
rogr
ama
de
BR
AO
en
rela
ción
a e
stas
cue
stio
nes?
C
onve
rgen
cia
del p
rogr
ama
de B
RA
O c
on la
s pr
inci
pale
s cu
estio
nes
de d
esar
rollo
de
la
regi
ón
Doc
umen
tos
de B
RAO
Dire
ctor
es/J
efes
de
Ofic
inas
N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
1.
3 ¿C
uál e
s la
razó
n de
ser
del
pr
ogra
ma
BR
AO
en
rela
ción
a e
stas
cu
estio
nes?
Cor
resp
onde
ncia
de
la ra
zón
de s
er d
e B
RA
O c
on la
s pr
inci
pale
s cu
estio
nes
del
desa
rrol
lo d
e la
regi
ón
Doc
umen
tos
de B
RA
O q
ue
pres
enta
n su
razó
n de
ser
Dire
ctor
es/J
efes
de
Ofic
inas
N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
26 27
Guía para las evaluaciones estratégicas de la UICN
26
FACTOR PREGUNTAS CLAVES
� ¿Quiénes son los actores que colaboran con la unidad? ¿Cómo perciben éstos la colaboración con la unidad? (¿valor añadido?)
� ¿Quiénes representan la competencia para la unidad? ¿Por qué son competidores y no colaboradores? ¿Están ocupando el terreno de acción de la unidad? ¿Por qué?
� ¿Cómo perciben los donantes y proveedores de fondos el valor de los productos y servicios de la unidad?
� ¿Cómo se ve afectada la unidad por las tendencias de los donantes en materia de financiación?
� ¿Cómo afecta a la unidad el entorno político y socioeconómico?
� ¿De qué modo se ve afectada la unidad por el contexto jurídico y administrativo del país o región?
Guí
a pa
ra la
s ev
alua
cion
es e
stra
tégi
cas
de la
UIC
N
27
Ap
énd
ice
III –
Eje
mp
lo d
e m
atri
z d
e ev
alu
ació
n u
tiliz
ada
en la
eva
luac
ión
es
trat
égic
a d
e B
RA
O, 2
002
Intr
odu
cció
n
AS
PE
CTO
S A
EV
AL
UA
RP
RE
GU
NT
AS
AL
GU
NO
S D
E L
OS
IND
ICA
DO
RE
S
PR
OP
UE
STO
SF
UE
NTE
S D
E D
ATO
S P
RO
PU
ES
TA
S
MÉ
TOD
OS
DE
R
EC
OL
EC
CIÓ
N D
E
DA
TOS
PR
OP
UE
STO
S
(HE
RR
AM
IEN
TA
S)
1) L
a pe
rtine
ncia
y
razó
n de
ser
del
pr
ogra
ma
de B
RA
O c
on
resp
ecto
a lo
spr
oble
mas
y te
nden
cias
de
l des
arro
llo
sost
enib
le (p
obla
ción
y
ecos
iste
mas
) en
la
regi
ón
1.1
¿Cuá
les
son
las
prin
cipa
les
cues
tione
s de
l des
arro
llo s
oste
nibl
e de
la
regi
ón q
ue a
fect
an a
la p
obla
ción
y a
lo
s ec
osis
tem
as?
Prin
cipa
les
cues
tione
s de
l de
sarr
ollo
sos
teni
ble
id
entif
icad
as e
n lo
s do
cum
ento
s de
la U
ICN
y d
e BR
AO
Con
verg
enci
a de
las
cues
tione
s de
l des
arro
llo
sost
enib
le d
e la
regi
ón q
ue
afec
tan
a la
pob
laci
ón y
a lo
s ec
osis
tem
as d
escr
itos
en lo
s do
cum
ento
s de
BR
AO
con
las
perc
epci
ones
de
tale
s cu
estio
nes
por l
as p
arte
s in
tere
sada
s en
el p
rogr
ama
Doc
umen
tos
de B
RAO
Dire
ctor
es/J
efes
de
Ofic
inas
N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
1.
2 ¿C
uán
perti
nent
e es
el p
rogr
ama
de
BR
AO
en
rela
ción
a e
stas
cue
stio
nes?
C
onve
rgen
cia
del p
rogr
ama
de B
RA
O c
on la
s pr
inci
pale
s cu
estio
nes
de d
esar
rollo
de
la
regi
ón
Doc
umen
tos
de B
RAO
Dire
ctor
es/J
efes
de
Ofic
inas
N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
1.
3 ¿C
uál e
s la
razó
n de
ser
del
pr
ogra
ma
BR
AO
en
rela
ción
a e
stas
cu
estio
nes?
Cor
resp
onde
ncia
de
la ra
zón
de s
er d
e B
RA
O c
on la
s pr
inci
pale
s cu
estio
nes
del
desa
rrol
lo d
e la
regi
ón
Doc
umen
tos
de B
RA
O q
ue
pres
enta
n su
razó
n de
ser
Dire
ctor
es/J
efes
de
Ofic
inas
N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
28 29
Guí
a pa
ra la
s ev
alua
cion
es e
stra
tégi
cas
de la
UIC
N
28 A
SP
EC
TOS
A E
VA
LU
AR
PR
EG
UN
TA
SA
LG
UN
OS
DE
LO
S IN
DIC
AD
OR
ES
P
RO
PU
ES
TOS
FU
EN
TES
DE
DA
TOS
PR
OP
UE
ST
AS
MÉ
TOD
OS
DE
R
EC
OL
EC
CIÓ
N D
E
DA
TOS
PR
OP
UE
STO
S
(HE
RR
AM
IEN
TA
S)
Don
ante
s
1.
4 ¿C
uál e
s la
per
tinen
cia
del
prog
ram
a B
RA
O e
n re
laci
ón c
on e
stas
cu
estio
nes?
Sat
isfa
cció
n de
las
parte
s in
tere
sada
s de
l pro
gram
a co
n re
spec
to a
la p
ertin
enci
a de
l pr
ogra
ma
BR
AO
en
rela
ción
co
n es
tas
cues
tione
s
Dire
ctor
es/J
efes
de
Ofic
inas
N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
1.
5 ¿E
stá
BR
AO
trat
ando
las
cu
estio
nes
verd
ader
amen
te p
ertin
ente
s en
el c
onte
xto
de la
Mis
ión
de la
UIC
N?
(c
uest
ione
s pe
rtine
ntes
= si
gnifi
cativ
as
en té
rmin
os d
e co
nser
vaci
ón y
de
sarr
ollo
sos
teni
ble
de la
regi
ón)
Cor
resp
onde
ncia
de
la m
isió
n de
BR
AO
con
la m
isió
n de
l Pr
ogra
ma
Mun
dial
de
la U
ICN
Per
cepc
ione
s de
las
parte
s in
tere
sada
s de
l pro
gram
a ac
erca
de
si B
RA
O e
stá
trata
ndo
o no
las
cues
tione
s pe
rtine
ntes
en
el c
onte
xto
de
la M
isió
n de
la U
ICN
Dec
lara
cion
es s
obre
la M
isió
n de
la
UIC
N y
dec
lara
cion
es s
obre
la
mis
ión
de B
RA
O
Dire
ctor
es/J
efes
de
Ofic
inas
N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
1.
6 ¿E
stá
BR
AO
trat
ando
las
cues
tione
s ve
rdad
eram
ente
per
tinen
tes
en e
l con
text
o de
las
vent
ajas
co
mpa
rativ
as d
e la
UIC
N?
Sat
isfa
cció
n de
las
parte
s in
tere
sada
s de
l pro
gram
a ac
erca
de
si B
RA
O e
stá
trata
ndo
o no
las
cues
tione
s pe
rtine
ntes
en
el c
onte
xto
de
las
vent
ajas
com
para
tivas
de
la U
ICN
Dire
ctor
es/J
efes
de
Ofic
inas
N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
1.
7 ¿E
stá
BR
AO
trat
ando
las
cues
tione
s ve
rdad
eram
ente
per
tinen
tes
en e
l con
text
o de
la e
stra
tegi
a de
la
UIC
N?
Sat
isfa
cció
n de
las
parte
s in
tere
sada
s de
l pro
gram
a ac
erca
de
si B
RA
O e
stá
trata
ndo
o no
las
cues
tione
s pe
rtine
ntes
en
el c
onte
xto
de
la e
stra
tegi
a de
la U
ICN
.
Dec
lara
ción
sob
re la
est
rate
gia
de
la U
CN
Dire
ctor
es/J
efes
de
Ofic
inas
N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
1.
8 ¿C
uále
s so
n la
s nu
evas
O
pini
ones
de
las
parte
s D
irect
ores
/Jef
es d
e O
ficin
as
Ent
revi
stas
Guí
a pa
ra la
s ev
alua
cion
es e
stra
tégi
cas
de la
UIC
N
29
AS
PE
CTO
S A
EV
AL
UA
RP
RE
GU
NT
AS
AL
GU
NO
S D
E L
OS
IND
ICA
DO
RE
S
PR
OP
UE
STO
SF
UE
NTE
S D
E D
ATO
S P
RO
PU
ES
TA
S
MÉ
TOD
OS
DE
R
EC
OL
EC
CIÓ
N D
E
DA
TOS
PR
OP
UE
STO
S
(HE
RR
AM
IEN
TA
S)
opor
tuni
dade
s y/
o ár
eas
de tr
abaj
o de
B
RA
O n
o co
ntem
plad
as a
ctua
lmen
te
en s
u pr
ogra
ma?
inte
resa
das
del p
rogr
ama
sobr
e la
s nu
evas
op
ortu
nida
des
y/o
área
s de
tra
bajo
de
BR
AO
no
cont
empl
adas
act
ualm
ente
en
su p
rogr
ama
Nac
iona
les
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
indi
vidu
ales
o
grup
ales
1.
9 ¿C
uál e
s la
razó
n (s
i la
hay)
de
la
ause
ncia
de
BR
AO
(ofic
ina
naci
onal
) en
dive
rsos
paí
ses
de Á
frica
Occ
iden
tal
(Nig
eria
, Cha
d, C
ôte
d’Iv
oire
, Ben
in,
Sie
rra L
eona
, Lib
eria
, Gam
bia,
Cab
o V
erde
, Tog
o, G
hana
, Gui
nea)
?
Opi
nion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
sobr
e la
s ra
zone
s (s
i ex
iste
n)de
la a
usen
cia
de
BR
AO
(ofic
ina
naci
onal
) en
dive
rsos
paí
ses
de Á
frica
O
ccid
enta
l
Dire
ctor
es/J
efes
de
Ofic
inas
N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
2) L
a ef
icac
ia d
e lo
s co
mpo
nent
es
prog
ram
átic
os d
el
Prog
ram
a R
egio
nal
la
UIC
N p
ara
Áfric
a O
ccid
enta
l
2.1
¿C
uál h
a si
do la
evo
luci
ón y
el
desa
rrol
lo d
el P
rogr
ama
para
Áfri
ca
Occ
iden
tal d
e la
UIC
N a
lo la
rgo
del
tiem
po (e
stra
tegi
a, fo
co, p
rodu
ctos
, re
sulta
dos)
?
Com
para
ción
de
las
estra
tegi
as, f
ocos
, pro
duct
os
y re
sulta
dos
de B
RA
O
pres
ente
s y
pasa
dos
Opi
nion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
sobr
e la
evo
luci
ón y
el
desa
rrol
lo d
el P
rogr
ama
para
Á
frica
Occ
iden
tal d
e la
UIC
N
a lo
larg
o de
l tie
mpo
en
térm
inos
de
su e
stra
tegi
a fo
co, p
rodu
ctos
y re
sulta
dos
Doc
umen
tos
de B
RA
O s
obre
es
trate
gia
pres
ente
y p
asad
a,
foco
, pro
duct
os y
resu
ltado
s
Dire
ctor
es/J
efes
de
Ofic
inas
N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
2.
2 ¿C
uále
s so
n lo
s pr
inci
pale
s ac
uerd
os, p
olíti
cas,
pro
cedi
mie
ntos
, et
c. e
labo
rado
s o
influ
enci
ados
por
est
e pr
ogra
ma?
Test
imon
ios
escr
itos
y an
ecdó
ticos
sob
re lo
s pr
inci
pale
s ac
uerd
os,
polít
icas
, pro
cedi
mie
ntos
, etc
. el
abor
ados
o in
fluen
ciad
os
por B
RA
O
Obs
erva
cion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
so
bre
los
prin
cipa
les
acue
rdos
, pol
ítica
s,
proc
edim
ient
os, e
tc.
elab
orad
os o
influ
enci
ados
Doc
umen
taci
ón d
e B
RA
O s
obre
lo
s pr
inci
pale
s po
lític
as,
acue
rdos
, pro
cedi
mie
ntos
, etc
. el
abor
ados
o in
fluen
ciad
os p
or e
l pr
ogra
ma
de B
RA
O
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
28 29
Guí
a pa
ra la
s ev
alua
cion
es e
stra
tégi
cas
de la
UIC
N
29
AS
PE
CTO
S A
EV
AL
UA
RP
RE
GU
NT
AS
AL
GU
NO
S D
E L
OS
IND
ICA
DO
RE
S
PR
OP
UE
STO
SF
UE
NTE
S D
E D
ATO
S P
RO
PU
ES
TA
S
MÉ
TOD
OS
DE
R
EC
OL
EC
CIÓ
N D
E
DA
TOS
PR
OP
UE
STO
S
(HE
RR
AM
IEN
TA
S)
opor
tuni
dade
s y/
o ár
eas
de tr
abaj
o de
B
RA
O n
o co
ntem
plad
as a
ctua
lmen
te
en s
u pr
ogra
ma?
inte
resa
das
del p
rogr
ama
sobr
e la
s nu
evas
op
ortu
nida
des
y/o
área
s de
tra
bajo
de
BR
AO
no
cont
empl
adas
act
ualm
ente
en
su p
rogr
ama
Nac
iona
les
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
indi
vidu
ales
o
grup
ales
1.
9 ¿C
uál e
s la
razó
n (s
i la
hay)
de
la
ause
ncia
de
BR
AO
(ofic
ina
naci
onal
) en
dive
rsos
paí
ses
de Á
frica
Occ
iden
tal
(Nig
eria
, Cha
d, C
ôte
d’Iv
oire
, Ben
in,
Sie
rra L
eona
, Lib
eria
, Gam
bia,
Cab
o V
erde
, Tog
o, G
hana
, Gui
nea)
?
Opi
nion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
sobr
e la
s ra
zone
s (s
i ex
iste
n)de
la a
usen
cia
de
BR
AO
(ofic
ina
naci
onal
) en
dive
rsos
paí
ses
de Á
frica
O
ccid
enta
l
Dire
ctor
es/J
efes
de
Ofic
inas
N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
2) L
a ef
icac
ia d
e lo
s co
mpo
nent
es
prog
ram
átic
os d
el
Prog
ram
a R
egio
nal
la
UIC
N p
ara
Áfric
a O
ccid
enta
l
2.1
¿C
uál h
a si
do la
evo
luci
ón y
el
desa
rrol
lo d
el P
rogr
ama
para
Áfri
ca
Occ
iden
tal d
e la
UIC
N a
lo la
rgo
del
tiem
po (e
stra
tegi
a, fo
co, p
rodu
ctos
, re
sulta
dos)
?
Com
para
ción
de
las
estra
tegi
as, f
ocos
, pro
duct
os
y re
sulta
dos
de B
RA
O
pres
ente
s y
pasa
dos
Opi
nion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
sobr
e la
evo
luci
ón y
el
desa
rrol
lo d
el P
rogr
ama
para
Á
frica
Occ
iden
tal d
e la
UIC
N
a lo
larg
o de
l tie
mpo
en
térm
inos
de
su e
stra
tegi
a fo
co, p
rodu
ctos
y re
sulta
dos
Doc
umen
tos
de B
RA
O s
obre
es
trate
gia
pres
ente
y p
asad
a,
foco
, pro
duct
os y
resu
ltado
s
Dire
ctor
es/J
efes
de
Ofic
inas
N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
2.
2 ¿C
uále
s so
n lo
s pr
inci
pale
s ac
uerd
os, p
olíti
cas,
pro
cedi
mie
ntos
, et
c. e
labo
rado
s o
influ
enci
ados
por
est
e pr
ogra
ma?
Test
imon
ios
escr
itos
y an
ecdó
ticos
sob
re lo
s pr
inci
pale
s ac
uerd
os,
polít
icas
, pro
cedi
mie
ntos
, etc
. el
abor
ados
o in
fluen
ciad
os
por B
RA
O
Obs
erva
cion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
so
bre
los
prin
cipa
les
acue
rdos
, pol
ítica
s,
proc
edim
ient
os, e
tc.
elab
orad
os o
influ
enci
ados
Doc
umen
taci
ón d
e B
RA
O s
obre
lo
s pr
inci
pale
s po
lític
as,
acue
rdos
, pro
cedi
mie
ntos
, etc
. el
abor
ados
o in
fluen
ciad
os p
or e
l pr
ogra
ma
de B
RA
O
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
30 31
Guí
a pa
ra la
s ev
alua
cion
es e
stra
tégi
cas
de la
UIC
N
30 A
SP
EC
TOS
A E
VA
LU
AR
PR
EG
UN
TA
SA
LG
UN
OS
DE
LO
S IN
DIC
AD
OR
ES
P
RO
PU
ES
TOS
FU
EN
TES
DE
DA
TOS
PR
OP
UE
ST
AS
MÉ
TOD
OS
DE
R
EC
OL
EC
CIÓ
N D
E
DA
TOS
PR
OP
UE
STO
S
(HE
RR
AM
IEN
TA
S)
por e
ste
prog
ram
a
2.
3 ¿C
uále
s so
n lo
s pr
oduc
tos
es
pecí
ficos
pro
porc
iona
dos
por e
l pr
ogra
ma?
Pro
duct
os d
el p
rogr
ama.
D
ocum
ento
s de
BR
AO
que
de
scrib
enpr
oduc
tos
del p
rogr
ama
Exa
men
de
docu
men
tos
2.
4 ¿R
epre
sent
a el
pro
gram
a un
a av
anza
da e
n m
ater
ia d
el p
ensa
mie
nto
sobr
e co
nser
vaci
ón y
des
arro
llo
sost
enib
le?
Opi
nion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
acer
ca d
e si
el p
rogr
ama
repr
esen
ta o
no
una
avan
zada
en
mat
eria
del
pe
nsam
ient
o so
bre
cons
erva
ción
y d
esar
rollo
so
sten
ible
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
2.
5 ¿E
s B
RA
O u
n líd
er re
cono
cido
en
mat
eria
de
cons
erva
ción
en
Áfri
ca
Occ
iden
tal?
Opi
nion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
acer
ca d
e si
BR
AO
es
o no
un
líder
reco
noci
do e
n m
ater
ia
de c
onse
rvac
ión
en Á
frica
O
ccid
enta
l
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
2.
6 ¿E
stá
trata
ndo
BR
AO
las
cues
tione
s m
ás s
igni
ficat
ivas
que
se
plan
tean
en
la re
gión
?
Sat
isfa
cció
n de
las
parte
s in
tere
sada
s de
l pro
gram
a en
cu
anto
al t
rata
mie
nto
o no
por
BR
AO
de
las
cues
tione
s m
ás
sign
ifica
tivas
de
la re
gión
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
2.
7 ¿L
as a
ctiv
idad
es y
pro
duct
os s
e re
aliz
an re
spet
ando
los
plaz
os y
el
pres
upue
sto?
Fech
as p
lane
adas
y re
ales
de
final
izac
ión
de a
ctiv
idad
es y
pr
oduc
tos
Indi
caci
ones
sob
re la
re
ntab
ilida
d de
las
activ
idad
es
y pr
oduc
tos
de B
RA
O
Sat
isfa
cció
n de
las
parte
s in
tere
sada
s de
l pro
gram
a
con
resp
ecto
a la
fina
lizac
ión
de la
s ac
tivid
ades
de
BR
AO
de
ntro
de
los
plaz
os
Doc
umen
taci
ón d
e B
RA
O s
obre
la
eje
cuci
ón d
e su
s ac
tivid
ades
y
prod
ucto
s
Res
ulta
dos
finan
cier
os d
e la
s ac
tivid
ades
en
curs
o
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Cue
stio
nario
Guí
a pa
ra la
s ev
alua
cion
es e
stra
tégi
cas
de la
UIC
N
31
AS
PE
CTO
S A
EV
AL
UA
RP
RE
GU
NT
AS
AL
GU
NO
S D
E L
OS
IND
ICA
DO
RE
S
PR
OP
UE
STO
SF
UE
NTE
S D
E D
ATO
S P
RO
PU
ES
TA
S
MÉ
TOD
OS
DE
R
EC
OL
EC
CIÓ
N D
E
DA
TOS
PR
OP
UE
STO
S
(HE
RR
AM
IEN
TA
S)
esta
blec
idos
2.
8 ¿S
e es
tán
utili
zand
o lo
s pr
oduc
tos
de lo
s pr
ogra
mas
par
a lo
grar
los
resu
ltado
s de
sead
os (c
ambi
os e
n pe
rson
as, c
omun
idad
es y
or
gani
zaci
ones
?
Test
imon
ios
escr
itos
y an
ecdó
ticos
sob
re e
l uso
de
los
prod
ucto
s de
los
prog
ram
as p
ara
logr
ar lo
s re
sulta
dos
dese
ados
Doc
umen
taci
ón d
e BR
AO s
obre
re
sulta
dos
del p
rogr
ama
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
2.
9¿P
osee
el p
erso
nal l
a co
mpe
tenc
ia,
cono
cim
ient
os y
cap
acid
ades
par
a ap
rend
er d
e la
exp
erie
ncia
?
Opi
nion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
sobr
e la
com
pete
ncia
, co
noci
mie
ntos
y c
apac
idad
es
del p
erso
nal d
e la
UIC
N p
ara
apre
nder
de
la e
xper
ienc
ia
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
2.
10 ¿
Tien
en lo
s co
mpo
nent
es d
el
prog
ram
a re
gion
al u
na s
erie
coh
eren
te
de p
roye
ctos
en
el c
onju
nto
de la
re
gión
?
Opi
nion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
sobr
e la
ser
ie c
oher
ente
de
proy
ecto
s de
los
com
pone
ntes
del
pro
gram
a re
gion
al e
n el
con
junt
o de
la
regi
ón
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
2.
11 T
enie
ndo
en c
uent
a la
s va
lora
cion
es m
enci
onad
as m
ás a
rrib
a,
¿qué
reco
men
daci
ones
pue
den
form
ular
se p
ara
el d
esar
rollo
futu
ro d
el
prog
ram
a de
BR
AO
?
Rec
omen
daci
ones
par
a el
de
sarr
ollo
futu
ro d
el p
rogr
ama
de B
RA
O
.
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
3) M
edid
a en
que
el
mod
elo
orga
niza
cion
al
de B
RA
O e
s ad
ecua
do,
efic
az, e
ficie
nte
y vi
able
fin
anci
eram
ente
; a
3.1
Des
crib
a el
mod
elo
orga
niza
cion
al
actu
al d
e B
RA
O
Org
anig
ram
a D
ocum
ento
s re
lativ
os a
l or
gani
gram
a de
BR
AO
E
xam
en d
e do
cum
ento
s
30 31
Guí
a pa
ra la
s ev
alua
cion
es e
stra
tégi
cas
de la
UIC
N
31
AS
PE
CTO
S A
EV
AL
UA
RP
RE
GU
NT
AS
AL
GU
NO
S D
E L
OS
IND
ICA
DO
RE
S
PR
OP
UE
STO
SF
UE
NTE
S D
E D
ATO
S P
RO
PU
ES
TA
S
MÉ
TOD
OS
DE
R
EC
OL
EC
CIÓ
N D
E
DA
TOS
PR
OP
UE
STO
S
(HE
RR
AM
IEN
TA
S)
esta
blec
idos
2.
8 ¿S
e es
tán
utili
zand
o lo
s pr
oduc
tos
de lo
s pr
ogra
mas
par
a lo
grar
los
resu
ltado
s de
sead
os (c
ambi
os e
n pe
rson
as, c
omun
idad
es y
or
gani
zaci
ones
?
Test
imon
ios
escr
itos
y an
ecdó
ticos
sob
re e
l uso
de
los
prod
ucto
s de
los
prog
ram
as p
ara
logr
ar lo
s re
sulta
dos
dese
ados
Doc
umen
taci
ón d
e BR
AO s
obre
re
sulta
dos
del p
rogr
ama
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
2.
9¿P
osee
el p
erso
nal l
a co
mpe
tenc
ia,
cono
cim
ient
os y
cap
acid
ades
par
a ap
rend
er d
e la
exp
erie
ncia
?
Opi
nion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
sobr
e la
com
pete
ncia
, co
noci
mie
ntos
y c
apac
idad
es
del p
erso
nal d
e la
UIC
N p
ara
apre
nder
de
la e
xper
ienc
ia
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
2.
10 ¿
Tien
en lo
s co
mpo
nent
es d
el
prog
ram
a re
gion
al u
na s
erie
coh
eren
te
de p
roye
ctos
en
el c
onju
nto
de la
re
gión
?
Opi
nion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
sobr
e la
ser
ie c
oher
ente
de
proy
ecto
s de
los
com
pone
ntes
del
pro
gram
a re
gion
al e
n el
con
junt
o de
la
regi
ón
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
2.
11 T
enie
ndo
en c
uent
a la
s va
lora
cion
es m
enci
onad
as m
ás a
rrib
a,
¿qué
reco
men
daci
ones
pue
den
form
ular
se p
ara
el d
esar
rollo
futu
ro d
el
prog
ram
a de
BR
AO
?
Rec
omen
daci
ones
par
a el
de
sarr
ollo
futu
ro d
el p
rogr
ama
de B
RA
O
.
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
3) M
edid
a en
que
el
mod
elo
orga
niza
cion
al
de B
RA
O e
s ad
ecua
do,
efic
az, e
ficie
nte
y vi
able
fin
anci
eram
ente
; a
3.1
Des
crib
a el
mod
elo
orga
niza
cion
al
actu
al d
e B
RA
O
Org
anig
ram
a D
ocum
ento
s re
lativ
os a
l or
gani
gram
a de
BR
AO
E
xam
en d
e do
cum
ento
s
32 33
Guí
a pa
ra la
s ev
alua
cion
es e
stra
tégi
cas
de la
UIC
N
32 A
SP
EC
TOS
A E
VA
LU
AR
PR
EG
UN
TA
SA
LG
UN
OS
DE
LO
S IN
DIC
AD
OR
ES
P
RO
PU
ES
TOS
FU
EN
TES
DE
DA
TOS
PR
OP
UE
ST
AS
MÉ
TOD
OS
DE
R
EC
OL
EC
CIÓ
N D
E
DA
TOS
PR
OP
UE
STO
S
(HE
RR
AM
IEN
TA
S)
sabe
r, la
est
rate
gia,
la
estru
ctur
a y
la g
estió
n de
las
ofic
inas
de
proy
ecto
nac
iona
les
y re
gion
ales
3.
2 ¿S
on la
ext
ensi
ón y
el a
lcan
ce d
e la
ac
tual
est
ruct
ura
orga
niza
cion
al
adec
uada
s a
la re
gión
? (e
n ci
erto
s pa
íses
/ no
en o
tros)
Sat
isfa
cció
n de
las
parte
s in
tere
sada
s de
l pro
gram
a co
n re
spec
to a
la e
xten
sión
y e
l al
canc
e de
la a
ctua
l es
truct
ura,
ade
cuad
a a
la
regi
ón
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
3.
3 ¿L
a re
d de
ofic
inas
(el m
odel
o ac
tual
) est
á pr
omov
iend
o el
des
arro
llo
de u
n pr
ogra
ma
regi
onal
fuer
te,
prog
ram
átic
a y
finan
cier
amen
te s
ólid
o?
Cal
idad
de
los
dato
s ge
nera
dos
por B
RA
O c
on
resp
ecto
a la
rent
abili
dad
de
las
activ
idad
es d
el p
rogr
ama
Sat
isfa
cció
n de
las
parte
s in
tere
sada
s de
l pro
gram
a ac
erca
de
la p
rom
oció
n,
grac
ias
a la
red
de o
ficin
as,
de u
n pr
ogra
ma
regi
onal
fu
erte
, pro
gram
átic
a y
finan
cier
amen
te s
ólid
o
Doc
umen
tos
finan
cier
osde
BR
AO
Aud
itoría
s o
eval
uaci
ones
pr
eced
ente
s
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
3.
4 ¿C
uál e
s la
est
rate
gia
actu
al d
e B
RA
O?
¿Es
sólid
a de
sde
el p
unto
de
vist
a pr
ogra
mát
ico
y fin
anci
ero?
Est
rate
gia
actu
al d
e B
RA
O
Indi
caci
ones
en
eval
uaci
ones
o
audi
toría
s re
cien
tes
acer
ca
de la
sol
idez
fina
ncie
ra d
el
prog
ram
a
Indi
caci
ones
ace
rca
de la
re
ntab
ilida
d de
las
activ
idad
es
reci
ente
s y
actu
ales
de
BR
AO
Opi
nion
es d
e la
s pa
rtes
inte
resa
das
sobr
e la
sol
idez
o
debi
lidad
fina
ncie
ra d
e la
Doc
umen
tos
finan
cier
os d
e BR
AO.
Eva
luac
ione
s o
audi
toría
s re
cien
tes
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
Guí
a pa
ra la
s ev
alua
cion
es e
stra
tégi
cas
de la
UIC
N
33
AS
PE
CTO
S A
EV
AL
UA
RP
RE
GU
NT
AS
AL
GU
NO
S D
E L
OS
IND
ICA
DO
RE
S
PR
OP
UE
STO
SF
UE
NTE
S D
E D
ATO
S P
RO
PU
ES
TA
S
MÉ
TOD
OS
DE
R
EC
OL
EC
CIÓ
N D
E
DA
TOS
PR
OP
UE
STO
S
(HE
RR
AM
IEN
TA
S)
estra
tegi
a
3.
5 ¿C
uále
s so
n la
s ca
paci
dade
s in
stitu
cion
ales
des
arro
llada
s po
r el
prog
ram
a re
gion
al d
e B
RAO
? ¿S
on
impo
rtant
es?
¿Sos
teni
bles
?
Test
imon
ios
escr
itos
o an
ecdó
ticos
ace
rca
de la
s ca
paci
dade
s in
stitu
cion
ales
u
orga
niza
cion
ales
de
sarr
olla
das
por e
l pro
gram
a re
gion
al d
e B
RA
O
Opi
nion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
acer
ca d
e si
dic
has
capa
cida
des
inst
ituci
onal
es u
or
gani
zaci
onal
es s
on
impo
rtant
es y
sos
teni
bles
Mat
eria
l sob
re c
apac
idad
es
inst
ituci
onal
es y
org
aniz
acio
nale
sde
BR
AO
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
3.
6 ¿C
uán
efic
ient
e y
efec
tiva
es la
go
bern
anza
de
BR
AO
? Te
stim
onio
s es
crito
s o
anec
dótic
os a
cerc
a de
la
gobe
rnan
za e
ficie
nte
y ef
ectiv
a en
BR
AO
(lid
eraz
go
estra
tégi
co fi
rme,
est
ruct
ura
sólid
a, e
tc.)
Doc
umen
tos
sobr
e la
gob
erna
nza
de B
RAO
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
3.
7 ¿C
uán
efic
ient
e y
efec
tiva
es la
ge
stió
n de
BR
AO?
Test
imon
ios
escr
itos
o an
ecdó
ticos
ace
rca
de :
Bue
na g
estió
n de
RH
(fo
rmac
ión,
des
arro
llo
prof
esio
nal,
orie
ntac
ión
adec
uada
, car
ga d
e tra
bajo
re
alis
ta, e
tc.);
Bue
na c
omun
icac
ión
inte
rna
y ex
tern
a;
Lide
razg
o só
lido
Rea
lizac
ión
de e
valu
acio
nes
de d
esem
peño
, au
toev
alua
cion
es, e
tc.
Doc
umen
tos
de B
RA
O s
obre
ta
les
aspe
ctos
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
32 33
Guí
a pa
ra la
s ev
alua
cion
es e
stra
tégi
cas
de la
UIC
N
33
AS
PE
CTO
S A
EV
AL
UA
RP
RE
GU
NT
AS
AL
GU
NO
S D
E L
OS
IND
ICA
DO
RE
S
PR
OP
UE
STO
SF
UE
NTE
S D
E D
ATO
S P
RO
PU
ES
TA
S
MÉ
TOD
OS
DE
R
EC
OL
EC
CIÓ
N D
E
DA
TOS
PR
OP
UE
STO
S
(HE
RR
AM
IEN
TA
S)
estra
tegi
a
3.
5 ¿C
uále
s so
n la
s ca
paci
dade
s in
stitu
cion
ales
des
arro
llada
s po
r el
prog
ram
a re
gion
al d
e B
RAO
? ¿S
on
impo
rtant
es?
¿Sos
teni
bles
?
Test
imon
ios
escr
itos
o an
ecdó
ticos
ace
rca
de la
s ca
paci
dade
s in
stitu
cion
ales
u
orga
niza
cion
ales
de
sarr
olla
das
por e
l pro
gram
a re
gion
al d
e B
RA
O
Opi
nion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
acer
ca d
e si
dic
has
capa
cida
des
inst
ituci
onal
es u
or
gani
zaci
onal
es s
on
impo
rtant
es y
sos
teni
bles
Mat
eria
l sob
re c
apac
idad
es
inst
ituci
onal
es y
org
aniz
acio
nale
sde
BR
AO
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
3.
6 ¿C
uán
efic
ient
e y
efec
tiva
es la
go
bern
anza
de
BR
AO
? Te
stim
onio
s es
crito
s o
anec
dótic
os a
cerc
a de
la
gobe
rnan
za e
ficie
nte
y ef
ectiv
a en
BR
AO
(lid
eraz
go
estra
tégi
co fi
rme,
est
ruct
ura
sólid
a, e
tc.)
Doc
umen
tos
sobr
e la
gob
erna
nza
de B
RAO
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
3.
7 ¿C
uán
efic
ient
e y
efec
tiva
es la
ge
stió
n de
BR
AO?
Test
imon
ios
escr
itos
o an
ecdó
ticos
ace
rca
de :
Bue
na g
estió
n de
RH
(fo
rmac
ión,
des
arro
llo
prof
esio
nal,
orie
ntac
ión
adec
uada
, car
ga d
e tra
bajo
re
alis
ta, e
tc.);
Bue
na c
omun
icac
ión
inte
rna
y ex
tern
a;
Lide
razg
o só
lido
Rea
lizac
ión
de e
valu
acio
nes
de d
esem
peño
, au
toev
alua
cion
es, e
tc.
Doc
umen
tos
de B
RA
O s
obre
ta
les
aspe
ctos
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
34 35
Guí
a pa
ra la
s ev
alua
cion
es e
stra
tégi
cas
de la
UIC
N
34 A
SP
EC
TOS
A E
VA
LU
AR
PR
EG
UN
TA
SA
LG
UN
OS
DE
LO
S IN
DIC
AD
OR
ES
P
RO
PU
ES
TOS
FU
EN
TES
DE
DA
TOS
PR
OP
UE
ST
AS
MÉ
TOD
OS
DE
R
EC
OL
EC
CIÓ
N D
E
DA
TOS
PR
OP
UE
STO
S
(HE
RR
AM
IEN
TA
S)
3.
8 ¿C
uán
efic
ient
e y
efec
tiva
es la
es
truct
ura
oper
acio
nal d
e B
RA
O?
Test
imon
ios
escr
itos
y an
ecdó
ticos
sob
re
prog
ram
ació
n y
plan
ifica
ción
re
gion
al e
ficac
es; e
jecu
ción
ef
icie
nte
de a
ctiv
idad
es. e
tc.
Doc
umen
tos
de B
RA
O s
obre
ob
jetiv
os o
pera
cion
ales
, asp
ecto
s fin
anci
eros
, res
ulta
dos
finan
cier
os,e
tc.
Doc
umen
tos
de B
RA
O s
obre
di
chos
asp
ecto
s
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Exa
men
de
docu
men
tos
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
3.
9 ¿C
ómo
se p
uede
forta
lece
r el
mod
elo
actu
al?
Opi
nion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
sobr
e có
mo
se p
uede
fo
rtale
cer e
l mod
elo
actu
al
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
3.
10 ¿
Exis
ten
pla
nes
de a
ctiv
idad
es
alte
rnat
ivos
a c
onte
mpl
ar?
Opi
nion
es d
e la
s pa
rtes
inte
resa
das
del p
rogr
ama
sobr
e pl
anes
de
activ
idad
es
alte
rnat
ivos
.
Dire
ctor
es d
e O
ficin
as N
acio
nale
s
Per
sona
l de
BR
AO
Mie
mbr
os y
aso
ciad
os
Don
ante
s
Entre
vist
as
indi
vidu
ales
o
grup
ales
Cue
stio
nario
Guía para las evaluaciones estratégicas de la UICN
35
Apéndice IV – Utilización de técnicas de grupo para la recolección de datos Técnicas de grupo
En la lista siguiente se presenta el panorama general del procedimiento:
� Definición del objetivo.
� Elaboración de las programas.
� Determinación de un cronograma.
� Constitución de los grupos.
� Realización de las sesiones.
� Recopilación de datos.
� Análisis de datos.
� Presentación de los hallazgos.
Elabore las preguntas
Proyecte 5 a 10 preguntas. Para ser eficaces, las preguntas grupales deben estar cuidadosamente definidas. Las preguntas:
� siempre son abiertas (ninguna se debe poder responder por sí o por no);
� son cualitativas más bien que cuantitativas (interrogan sobre percepciones y opiniones, más bien que sobre hechos o cifras);
� nunca preguntan “por qué” directamente;
� incluyen múltiples sondas; y
� permiten expresar inquietudes relacionadas con los procesos, y no sólo con los contenidos.
Constituya un grupo
Los grupos de recolección de datos exitosos están compuestos por personas que:
� comparten una característica (tal como formar parte del personal, ser asociados o miembros);
� tienen experiencias diversas ( los grupos “intactos” no funcionan);
� representan diferentes puntos de vista; y
� suman entre 6 y 12 personas.
Organice un cronograma
� Dedique 2 horas por grupo.
� No haga pausas.
� No rellene el tiempo (la sesión se termina cuando usted extrajo los datos).
34 35
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
35
Apéndice IV – Utilización de técnicas de grupo para la recolección de datos Técnicas de grupo
En la lista siguiente se presenta el panorama general del procedimiento:
� Definición del objetivo.
� Elaboración de las programas.
� Determinación de un cronograma.
� Constitución de los grupos.
� Realización de las sesiones.
� Recopilación de datos.
� Análisis de datos.
� Presentación de los hallazgos.
Elabore las preguntas
Proyecte 5 a 10 preguntas. Para ser eficaces, las preguntas grupales deben estar cuidadosamente definidas. Las preguntas:
� siempre son abiertas (ninguna se debe poder responder por sí o por no);
� son cualitativas más bien que cuantitativas (interrogan sobre percepciones y opiniones, más bien que sobre hechos o cifras);
� nunca preguntan “por qué” directamente;
� incluyen múltiples sondas; y
� permiten expresar inquietudes relacionadas con los procesos, y no sólo con los contenidos.
Constituya un grupo
Los grupos de recolección de datos exitosos están compuestos por personas que:
� comparten una característica (tal como formar parte del personal, ser asociados o miembros);
� tienen experiencias diversas ( los grupos “intactos” no funcionan);
� representan diferentes puntos de vista; y
� suman entre 6 y 12 personas.
Organice un cronograma
� Dedique 2 horas por grupo.
� No haga pausas.
� No rellene el tiempo (la sesión se termina cuando usted extrajo los datos).
36
Guía para las eva luac iones es t ra tég icas de la UICN
37
Guía para las evaluaciones estratégicas de la UICN
36
Ubique espacialmente a los grupos
� Disponga los asientos en círculo para tener un buen contacto visual; y
� Ubique al moderador y al asistente del moderador o persona que toma notas en puntos opuestos del círculo – para obtener perspectivas diferentes.
Conduzca las sesiones
Contenido
Apertura
� Introducción
� Anuncie la duración de la sesión
� Indique los criterios básicos: - Confidencialidad de las respuestas; - Se alienta la expresión de puntos de vista positivos y negativos.
Preguntas principales
� Formule preguntas de acuerdo con su guía.
� Use sondas.
Preguntas que debe hacerse a sí mismo/a
� ¿Que más tengo que preguntar para entender el punto de vista de esta persona?
� ¿Estoy oyendo todo lo que necesito para entender?
� ¿Qué significa todo esto, visto colectivamente?
� ¿Cómo puedo hacer para hacer aflorar sentimientos reales?
� ¿Cuánto tiempo queda?
Resumen
� Resuma las principales cuestiones que surgieron.
� Formule tal vez una pregunta englobante, del estilo "¿Es globalmente eficaz el programa?”
Conclusión
� Agradezca al grupo por su participación.
� Informe al grupo sobre las próximas etapas del proceso.
Técnicas
Qué hacer
� Adopte una actitud de ingenuidad y empatía.
� Practique la escucha activa, la paráfrasis y el resumen.
� Controle sin dirigir.
� Equilibre las contribuciones de los participantes dominantes y silenciosos.
� Pregunte si alguien ve las cosas de otro modo.
Guía para las evaluaciones estratégicas de la UICN
37
� Use las pausas y las sondas eficazmente.
Qué evitar
� Asentir con la cabeza (salvo excepción); y
� Manifestar acuerdo ("De acuerdo,” “Sí”).
Cómo hacer hablar
� Empiece con una pregunta amplia, del tipo "¿Qué le pareció...?"
� Pida la opinión de los participantes que aún no han respondido.
� Use el silencio – haga una pregunta y tómese el tiempo de observar a todo el grupo a la espera de respuestas.
Cómo contener a los que hablan demasiado
� Interrumpa las discusiones interminables resumiendo las dos opiniones y pidiendo luego a otros participantes puntos de vista diferentes sobre la cuestión.
� Haga el gesto del “policía”- levante la palma de la mano para parar a alguien.
� De una palmada en el brazo a una persona que habla mucho y esté cerca suyo.
� Evite el contacto visual con un orador dominante.
� Pruebe frases del estilo de “¿Y si dejamos empezar a otra persona?,” "Un momento, aún no hemos oído a Juan,” “Sí, ya lo ha dicho,” o “Tengo la impresión de que otras personas quieren hablar" .
� Cree un motivo de distracción importante y luego reanude la discusión.
Registre los datos
Grabación magnetofónica
� Ventaja – se efectúa un registro completo de los datos.
� Inconveniente – lleva mucho tiempo escuchar la cinta.
Técnicas
� Informe a los participantes y obtenga su autorización para grabar.
� Utilice un dispositivo de grabación discreto.
� Use cintas lo suficientemente largas como para no tener que cambiarlas en el medio de la discusión.
Registro escrito
� Deberían tomarse notas aún si se graba la sesión.
� Marque la posición de la cinta (contador) de vez en cuando al margen de sus notas, para poder localizar fácilmente cuestiones específicas en la grabación.
� Las notas debería tomarlas un asistente del moderador, no el moderador.
� Tome notas continuamente, para evitar dar indicios a los participantes sobre el valor de sus respectivas contribuciones.
� Subraye cuestiones que parezcan importantes.
� Puede determinar previamente categorías y organizar sus notas en torno a ellas, anotando los comentarios en las categorías preestablecidas.
36 37
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
36
Ubique espacialmente a los grupos
� Disponga los asientos en círculo para tener un buen contacto visual; y
� Ubique al moderador y al asistente del moderador o persona que toma notas en puntos opuestos del círculo – para obtener perspectivas diferentes.
Conduzca las sesiones
Contenido
Apertura
� Introducción
� Anuncie la duración de la sesión
� Indique los criterios básicos: - Confidencialidad de las respuestas; - Se alienta la expresión de puntos de vista positivos y negativos.
Preguntas principales
� Formule preguntas de acuerdo con su guía.
� Use sondas.
Preguntas que debe hacerse a sí mismo/a
� ¿Que más tengo que preguntar para entender el punto de vista de esta persona?
� ¿Estoy oyendo todo lo que necesito para entender?
� ¿Qué significa todo esto, visto colectivamente?
� ¿Cómo puedo hacer para hacer aflorar sentimientos reales?
� ¿Cuánto tiempo queda?
Resumen
� Resuma las principales cuestiones que surgieron.
� Formule tal vez una pregunta englobante, del estilo "¿Es globalmente eficaz el programa?”
Conclusión
� Agradezca al grupo por su participación.
� Informe al grupo sobre las próximas etapas del proceso.
Técnicas
Qué hacer
� Adopte una actitud de ingenuidad y empatía.
� Practique la escucha activa, la paráfrasis y el resumen.
� Controle sin dirigir.
� Equilibre las contribuciones de los participantes dominantes y silenciosos.
� Pregunte si alguien ve las cosas de otro modo.
Guía para las evaluaciones estratégicas de la UICN
37
� Use las pausas y las sondas eficazmente.
Qué evitar
� Asentir con la cabeza (salvo excepción); y
� Manifestar acuerdo ("De acuerdo,” “Sí”).
Cómo hacer hablar
� Empiece con una pregunta amplia, del tipo "¿Qué le pareció...?"
� Pida la opinión de los participantes que aún no han respondido.
� Use el silencio – haga una pregunta y tómese el tiempo de observar a todo el grupo a la espera de respuestas.
Cómo contener a los que hablan demasiado
� Interrumpa las discusiones interminables resumiendo las dos opiniones y pidiendo luego a otros participantes puntos de vista diferentes sobre la cuestión.
� Haga el gesto del “policía”- levante la palma de la mano para parar a alguien.
� De una palmada en el brazo a una persona que habla mucho y esté cerca suyo.
� Evite el contacto visual con un orador dominante.
� Pruebe frases del estilo de “¿Y si dejamos empezar a otra persona?,” "Un momento, aún no hemos oído a Juan,” “Sí, ya lo ha dicho,” o “Tengo la impresión de que otras personas quieren hablar" .
� Cree un motivo de distracción importante y luego reanude la discusión.
Registre los datos
Grabación magnetofónica
� Ventaja – se efectúa un registro completo de los datos.
� Inconveniente – lleva mucho tiempo escuchar la cinta.
Técnicas
� Informe a los participantes y obtenga su autorización para grabar.
� Utilice un dispositivo de grabación discreto.
� Use cintas lo suficientemente largas como para no tener que cambiarlas en el medio de la discusión.
Registro escrito
� Deberían tomarse notas aún si se graba la sesión.
� Marque la posición de la cinta (contador) de vez en cuando al margen de sus notas, para poder localizar fácilmente cuestiones específicas en la grabación.
� Las notas debería tomarlas un asistente del moderador, no el moderador.
� Tome notas continuamente, para evitar dar indicios a los participantes sobre el valor de sus respectivas contribuciones.
� Subraye cuestiones que parezcan importantes.
� Puede determinar previamente categorías y organizar sus notas en torno a ellas, anotando los comentarios en las categorías preestablecidas.
38
Guía para las eva luac iones es t ra tég icas de la UICN
39
Guía para las evaluaciones estratégicas de la UICN
38
Comentarios del observador
� Tome notas de cosas que piensa durante la sesión: temas importantes, ideas para la siguiente reunión del grupo, reformulación de preguntas, etc. Señálelas como ideas suyas.
Analice los datos
Pasos
� Escriba en el ordenador comentarios importantes a partir de las notas en borrador e indique el nombre de los oradores, si es posible.
� Corte y pegue comentarios por temas (con el ordenador o con tijeras).
� Ordene los comentarios de los temas por subtemas.
� Organice los temas por orden de importancia.
� Revise la redacción de los temas: - para eliminar redundancias; - para verificar que los comentarios no representen el punto de vista de una sola persona; y - para reflejar de manera exacta y equilibrada lo que realmente se dijo.
� Escriba un resumen de cada tema.
� Seleccione y revise la redacción de citas reales para ilustrar cada tema, pero: - evite las opiniones extremas; - escoja afirmaciones representativas; - corrija la gramática y la expresión cuando sea necesario.
� Proteja la identidad de los participantes quitando nombres e indicaciones distintivas.
Guía para las evaluaciones estratégicas de la UICN
39
Apéndice V – Utilización de entrevistas para la recolección de datos Entrevistas
Ya sea que las entrevistas se realicen cara a cara o por teléfono, el cumplimiento de ciertos procedimientos le ayudará a obtener el máximo provecho de ellas. Se trata de los procedimientos siguientes:
� Determine el enfoque.
� Formule preguntas de investigación generales y específicas.
� Prepare una primera versión de las preguntas para la entrevista.
� Ponga a prueba el protocolo.
� Organice un calendario de entrevistas (tema no tratado más abajo).
� Prepárese para registrar las respuestas.
� Conduzca las entrevistas.
� Analice los datos de las entrevistas.
Determine el enfoque
La primera etapa consiste en decidir qué enfoque utilizar:
� Entrevista con un informante clave – Una entrevista con un informante clave tiene por objeto para recoger datos a partir de una persona que es única en virtud de su posición o experiencia (por ejemplo, un director de departamento, que puede representar a un departamento entero).
� Entrevista normativa – Se usa una entrevista normativa para recoger información proveniente de un gran número de interlocutores (por ejemplo, entrevistando a clientes, individuos representativos).
El tipo de entrevista determinará su plan.
� Guía de entrevista -Un conjunto general de preguntas usadas en una entrevista importante; o
� Protocolo de entrevista - Un instrumento altamente estructurado que se asemeja a un cuestionario.(A menudo, el entrevistador anota las respuestas en el protocolo).
Formule preguntas de investigación generales y específicas
� ¿Qué necesita averiguar?
� ¿Qué información le resulta esencial obtener de la entrevista? (Recuerde, ésta puede ser su única ocasión de obtener la información.)
Prepare una primera versión de las preguntas para la entrevista
Algunas preguntas pueden ser abiertas, es decir,
� piden información general; o
� no restringen la respuesta, por ejemplo, "Qué le parece tal cosa..."
38 39
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
38
Comentarios del observador
� Tome notas de cosas que piensa durante la sesión: temas importantes, ideas para la siguiente reunión del grupo, reformulación de preguntas, etc. Señálelas como ideas suyas.
Analice los datos
Pasos
� Escriba en el ordenador comentarios importantes a partir de las notas en borrador e indique el nombre de los oradores, si es posible.
� Corte y pegue comentarios por temas (con el ordenador o con tijeras).
� Ordene los comentarios de los temas por subtemas.
� Organice los temas por orden de importancia.
� Revise la redacción de los temas: - para eliminar redundancias; - para verificar que los comentarios no representen el punto de vista de una sola persona; y - para reflejar de manera exacta y equilibrada lo que realmente se dijo.
� Escriba un resumen de cada tema.
� Seleccione y revise la redacción de citas reales para ilustrar cada tema, pero: - evite las opiniones extremas; - escoja afirmaciones representativas; - corrija la gramática y la expresión cuando sea necesario.
� Proteja la identidad de los participantes quitando nombres e indicaciones distintivas.
Guía para las evaluaciones estratégicas de la UICN
39
Apéndice V – Utilización de entrevistas para la recolección de datos Entrevistas
Ya sea que las entrevistas se realicen cara a cara o por teléfono, el cumplimiento de ciertos procedimientos le ayudará a obtener el máximo provecho de ellas. Se trata de los procedimientos siguientes:
� Determine el enfoque.
� Formule preguntas de investigación generales y específicas.
� Prepare una primera versión de las preguntas para la entrevista.
� Ponga a prueba el protocolo.
� Organice un calendario de entrevistas (tema no tratado más abajo).
� Prepárese para registrar las respuestas.
� Conduzca las entrevistas.
� Analice los datos de las entrevistas.
Determine el enfoque
La primera etapa consiste en decidir qué enfoque utilizar:
� Entrevista con un informante clave – Una entrevista con un informante clave tiene por objeto para recoger datos a partir de una persona que es única en virtud de su posición o experiencia (por ejemplo, un director de departamento, que puede representar a un departamento entero).
� Entrevista normativa – Se usa una entrevista normativa para recoger información proveniente de un gran número de interlocutores (por ejemplo, entrevistando a clientes, individuos representativos).
El tipo de entrevista determinará su plan.
� Guía de entrevista -Un conjunto general de preguntas usadas en una entrevista importante; o
� Protocolo de entrevista - Un instrumento altamente estructurado que se asemeja a un cuestionario.(A menudo, el entrevistador anota las respuestas en el protocolo).
Formule preguntas de investigación generales y específicas
� ¿Qué necesita averiguar?
� ¿Qué información le resulta esencial obtener de la entrevista? (Recuerde, ésta puede ser su única ocasión de obtener la información.)
Prepare una primera versión de las preguntas para la entrevista
Algunas preguntas pueden ser abiertas, es decir,
� piden información general; o
� no restringen la respuesta, por ejemplo, "Qué le parece tal cosa..."
40
Guía para las eva luac iones es t ra tég icas de la UICN
41
Guía para las evaluaciones estratégicas de la UICN
40
Ciertas preguntas pueden ser cerradas, es decir,
� solicitan información específica; o
� limitan al entrevistado a respuestas fácticas, respuestas por sí o no, o de opción múltiple.
Otras preguntas pueden ser secuenciales
� Organice las preguntas en capítulos referentes a los temas principales.
Tenga en cuenta las necesidades en materia de procedimiento
� Prepare transiciones adecuadas de un tema al siguiente.
� Prepare sondeos y preguntas inherentes al proceso.
� No olvide resumir.
Prepare comentarios introductorios y de conclusión. Indique:
� el propósito de la entrevista, su duración y su confidencialidad;
� el valor de la contribución de los interlocutores; y
� el seguimiento.
Ponga a prueba el protocolo
Es importante hacer un ensayo de cada entrevista. Esta prueba le ayudará a validar:
� el contenido de sus preguntas;
� la sucesión de los temas;
� la técnica de registro; y
� el tiempo.
Si usted está trabajando con otros entrevistadores, se necesitarán varias sesiones de capacitación para que aprendan a usar el protocolo.
Corrija su protocolo o su guía de entrevista después de probarlo con interlocutores o capacitar a otros entrevistadores.
Entrevistas telefónicas (NOTA: probablemente, las entrevistas telefónicas se usan más en las evaluaciones de la UICN que en otras organizaciones debido al carácter altamente descentralizado de la UICN y a la dispersión de las oficinas y los directores en nueve regiones del mundo).
� Utilícelas para las entrevistas normativas.
� Úselas únicamente si no puede reunirse con la persona.
� Organice el tiempo de antemano – explique su propósito, alcance y tiempo requerido.
� Para una entrevista con un informante clave realizada por teléfono, envíe por fax con anticipación las preguntas y temas principales de la entrevista.
Entrevistas cara a cara
� Si es posible, dé prioridad a este método para actores muy importantes.
� Fije tiempo y lugar.
� Solicite que no se le interrumpa con llamadas u otras cuestiones.
Guía para las evaluaciones estratégicas de la UICN
41
� Reúnase en un lugar donde pueda realmente discutir de los temas.
Organice un calendario de entrevistas
Prepárese para registrar las respuestas
� Determine un método general para registrar las entrevistas: grabación, notas escritas.
� Organice un protocolo para las respuestas escritas.
� Prevea registrar los enunciados verbales y tomar notas sobre la comunicación no verbal.
Conduzca las entrevistas
Es importante que usted, como entrevistador, guarde el control tanto del contenido como del procedimiento de la entrevista.
Controle el contenido
� planeando y
� siguiendo el protocolo o guía.
Controle el proceso
� Siente pautas de entrada – una buena introducción establece el tono adecuado. Recapitule el programa general de la entrevista y fije un límite temporal.
� Corte las respuestas que se prolongan demasiado.
� Mantenga su rumbo – si el interlocutor se aparta de él, tráigalo de nuevo a las preguntas de su protocolo.
� Aliente a hablar a entrevistados más reservados – utilizando el sentido del humor, – mostrándose dispuesto/a a esperar en silencio, y – empleando técnicas de comunicación eficaces:
– escucha activa – apertura y empatía – parafrasear – resumir.
Analice los datos de la entrevista
Entrevistas normativas
� Las respuestas cuantitativas pueden registrarse y analizarse estadísticamente.
� Las respuestas cualitativas pueden ser analizadas por contenido.
Entrevistas con un informante clave
En las entrevistas con informantes clave, usted intenta responder a preguntas tales como:
� ¿Cuáles son las opiniones principales de este grupo de clientes?
� ¿En qué cuestiones podemos actuar?
� ¿Cuáles están más allá de nuestro control?
40 41
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
40
Ciertas preguntas pueden ser cerradas, es decir,
� solicitan información específica; o
� limitan al entrevistado a respuestas fácticas, respuestas por sí o no, o de opción múltiple.
Otras preguntas pueden ser secuenciales
� Organice las preguntas en capítulos referentes a los temas principales.
Tenga en cuenta las necesidades en materia de procedimiento
� Prepare transiciones adecuadas de un tema al siguiente.
� Prepare sondeos y preguntas inherentes al proceso.
� No olvide resumir.
Prepare comentarios introductorios y de conclusión. Indique:
� el propósito de la entrevista, su duración y su confidencialidad;
� el valor de la contribución de los interlocutores; y
� el seguimiento.
Ponga a prueba el protocolo
Es importante hacer un ensayo de cada entrevista. Esta prueba le ayudará a validar:
� el contenido de sus preguntas;
� la sucesión de los temas;
� la técnica de registro; y
� el tiempo.
Si usted está trabajando con otros entrevistadores, se necesitarán varias sesiones de capacitación para que aprendan a usar el protocolo.
Corrija su protocolo o su guía de entrevista después de probarlo con interlocutores o capacitar a otros entrevistadores.
Entrevistas telefónicas (NOTA: probablemente, las entrevistas telefónicas se usan más en las evaluaciones de la UICN que en otras organizaciones debido al carácter altamente descentralizado de la UICN y a la dispersión de las oficinas y los directores en nueve regiones del mundo).
� Utilícelas para las entrevistas normativas.
� Úselas únicamente si no puede reunirse con la persona.
� Organice el tiempo de antemano – explique su propósito, alcance y tiempo requerido.
� Para una entrevista con un informante clave realizada por teléfono, envíe por fax con anticipación las preguntas y temas principales de la entrevista.
Entrevistas cara a cara
� Si es posible, dé prioridad a este método para actores muy importantes.
� Fije tiempo y lugar.
� Solicite que no se le interrumpa con llamadas u otras cuestiones.
Guía para las evaluaciones estratégicas de la UICN
41
� Reúnase en un lugar donde pueda realmente discutir de los temas.
Organice un calendario de entrevistas
Prepárese para registrar las respuestas
� Determine un método general para registrar las entrevistas: grabación, notas escritas.
� Organice un protocolo para las respuestas escritas.
� Prevea registrar los enunciados verbales y tomar notas sobre la comunicación no verbal.
Conduzca las entrevistas
Es importante que usted, como entrevistador, guarde el control tanto del contenido como del procedimiento de la entrevista.
Controle el contenido
� planeando y
� siguiendo el protocolo o guía.
Controle el proceso
� Siente pautas de entrada – una buena introducción establece el tono adecuado. Recapitule el programa general de la entrevista y fije un límite temporal.
� Corte las respuestas que se prolongan demasiado.
� Mantenga su rumbo – si el interlocutor se aparta de él, tráigalo de nuevo a las preguntas de su protocolo.
� Aliente a hablar a entrevistados más reservados – utilizando el sentido del humor, – mostrándose dispuesto/a a esperar en silencio, y – empleando técnicas de comunicación eficaces:
– escucha activa – apertura y empatía – parafrasear – resumir.
Analice los datos de la entrevista
Entrevistas normativas
� Las respuestas cuantitativas pueden registrarse y analizarse estadísticamente.
� Las respuestas cualitativas pueden ser analizadas por contenido.
Entrevistas con un informante clave
En las entrevistas con informantes clave, usted intenta responder a preguntas tales como:
� ¿Cuáles son las opiniones principales de este grupo de clientes?
� ¿En qué cuestiones podemos actuar?
� ¿Cuáles están más allá de nuestro control?
42
Guía para las eva luac iones es t ra tég icas de la UICN
43
Guía para las evaluaciones estratégicas de la UICN
42
� ¿Qué opiniones son compartidas por la mayoría de los miembros de este grupo?
� ¿Qué opiniones difieren?
� ¿Por qué ciertas opiniones difieren? ¿Debido a la personalidad individual o la función, posición o punto de vista de la persona?
Es posible que ciertas opiniones deban ser ponderadas según su importancia, por ejemplo, ciertos interlocutores pueden ser más importantes que otros, ya sea porque son clientes mayores o porque sus necesidades son más vitales. La pregunta fundamental es ¿qué piensan nuestros clientes principales de nuestros bienes y servicios?. ¿Qué nos indica esto?
Consejos sobre la formulación de preguntas
Los entrevistadores se crean dificultades porque infringen ciertas reglas básicas. Los siguientes problemas deberían evitarse:
TIPO EJEMPLO QUÉ HACER O EVITAR
Preguntas de doble calibre ¿Experimentó alguna vez síntomas de desgaste, y qué deberían hacer las organizaciones para prevenirlo?
Evite las preguntas de doble calibre.Haga una pregunta a la vez. No combine preguntas y espere una sola respuesta.
Dos preguntas en una ¿Cuáles son las ventajas e inconvenientes de la cooperación con este programa?
No combine posiciones opuestas en una sola pregunta. Sepárelas, y las cosas serán mucho más claras.
Preguntas restrictivas ¿Piensa que las administradoras femeninas podrán algún día ser tan eficaces como los administradores masculinos?
La formulación de esta pregunta no parece admitir la posibilidad de que las mujeres podrían ser mejores. Evite las preguntas que eliminan de forma intrínseca ciertas opciones.
Preguntas directivas El cambio climático es una de las grandes problemáticas mundiales de nuestro tiempo. ¿Piensa que la UICN debería hacer más para responder al cambio climático?
No haga una declaración de posición previa a las preguntas. En ese tipo de preguntas, el entrevistador afirma una opinión o resume la posición de un suceso actual o reciente y luego pide una respuesta. Esto orienta al entrevistado en una dirección dada.
Preguntas cargadas ¿Estaría usted a favor o en contra de prohibir fumar en todas las oficinas de la UICN, puesto que daña su salud y la de los demás?
Evite preguntas que usan palabras cargadas y con peso emocional.
Guía para las evaluaciones estratégicas de la UICN
43
Apéndice VI – Utilización de cuestionarios para la recolección de datos Cuestionarios
Se recomiendan los siguientes procedimientos para una encuesta con cuestionario.
� Determine las preguntas principales.
� Prepare los diversos puntos del cuestionario.
� Diseñe el formato del cuestionario.
� Realice una prueba experimental del cuestionario.
� Elabore una estrategia de recolección de datos.
� Redacte una carta de presentación y envíe el cuestionario.
� Siga las respuestas.
� Analice los datos de la encuesta.
Determine las preguntas principales
Se debe empezar definiendo claramente las preguntas o cuestiones principales a tratar. Generalmente, éstas estarán reflejadas en los diversos capítulos del cuestionario, como se describe más abajo.
Modelos de capítulos
Introducción o informaciones generales
Este capítulo incluye informaciones sobre su interlocutor que pueden ser importantes para su análisis. Debería solicitar información básica acerca del entrevistado, que usted tendrá que tratar, tal como el departamento, región, experiencia, sexo, posición y experiencia con la UICN.
Pregunte sólo lo que es esencial para su sub-análisis. Si no necesita saber, no pregunte.
Calidad de los bienes y servicios recibidos por su cliente
Este capítulo es el centro del cuestionario y requiere la determinación de dimensiones de la calidad que pueden ser importantes. El entrevistado evaluará la calidad de sus productos en el marco de estas dimensiones.
Otras consideraciones
Para este capítulo, escoja un título que incluya otras dimensiones importantes del servicio al cliente, tales como “Cumplimiento de los plazos", “Seguridad”, o “Responsabilidad medioambiental.”
Reactividad, resolución de problemas y servicio al cliente
Esta serie de preguntas tratará de las percepciones de su interlocutor con respecto a su servicio. Esta capítulo podría combinarse con el capítulo dedicado a la calidad u a otras consideraciones.
Estos grandes capítulos de su cuestionario proporcionarán las líneas generales. Una vez que usted conoce esos temas principales, deberá elaborar las preguntas o puntos del cuestionario.
Prepare los diversos puntos del cuestionario
Tipos de rubros de un cuestionario
Guía para las evaluaciones estratégicas de la UICN
42
� ¿Qué opiniones son compartidas por la mayoría de los miembros de este grupo?
� ¿Qué opiniones difieren?
� ¿Por qué ciertas opiniones difieren? ¿Debido a la personalidad individual o la función, posición o punto de vista de la persona?
Es posible que ciertas opiniones deban ser ponderadas según su importancia, por ejemplo, ciertos interlocutores pueden ser más importantes que otros, ya sea porque son clientes mayores o porque sus necesidades son más vitales. La pregunta fundamental es ¿qué piensan nuestros clientes principales de nuestros bienes y servicios?. ¿Qué nos indica esto?
Consejos sobre la formulación de preguntas
Los entrevistadores se crean dificultades porque infringen ciertas reglas básicas. Los siguientes problemas deberían evitarse:
TIPO EJEMPLO QUÉ HACER O EVITAR
Preguntas de doble calibre ¿Experimentó alguna vez síntomas de desgaste, y qué deberían hacer las organizaciones para prevenirlo?
Evite las preguntas de doble calibre.Haga una pregunta a la vez. No combine preguntas y espere una sola respuesta.
Dos preguntas en una ¿Cuáles son las ventajas e inconvenientes de la cooperación con este programa?
No combine posiciones opuestas en una sola pregunta. Sepárelas, y las cosas serán mucho más claras.
Preguntas restrictivas ¿Piensa que las administradoras femeninas podrán algún día ser tan eficaces como los administradores masculinos?
La formulación de esta pregunta no parece admitir la posibilidad de que las mujeres podrían ser mejores. Evite las preguntas que eliminan de forma intrínseca ciertas opciones.
Preguntas directivas El cambio climático es una de las grandes problemáticas mundiales de nuestro tiempo. ¿Piensa que la UICN debería hacer más para responder al cambio climático?
No haga una declaración de posición previa a las preguntas. En ese tipo de preguntas, el entrevistador afirma una opinión o resume la posición de un suceso actual o reciente y luego pide una respuesta. Esto orienta al entrevistado en una dirección dada.
Preguntas cargadas ¿Estaría usted a favor o en contra de prohibir fumar en todas las oficinas de la UICN, puesto que daña su salud y la de los demás?
Evite preguntas que usan palabras cargadas y con peso emocional.
42 43
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
42
� ¿Qué opiniones son compartidas por la mayoría de los miembros de este grupo?
� ¿Qué opiniones difieren?
� ¿Por qué ciertas opiniones difieren? ¿Debido a la personalidad individual o la función, posición o punto de vista de la persona?
Es posible que ciertas opiniones deban ser ponderadas según su importancia, por ejemplo, ciertos interlocutores pueden ser más importantes que otros, ya sea porque son clientes mayores o porque sus necesidades son más vitales. La pregunta fundamental es ¿qué piensan nuestros clientes principales de nuestros bienes y servicios?. ¿Qué nos indica esto?
Consejos sobre la formulación de preguntas
Los entrevistadores se crean dificultades porque infringen ciertas reglas básicas. Los siguientes problemas deberían evitarse:
TIPO EJEMPLO QUÉ HACER O EVITAR
Preguntas de doble calibre ¿Experimentó alguna vez síntomas de desgaste, y qué deberían hacer las organizaciones para prevenirlo?
Evite las preguntas de doble calibre.Haga una pregunta a la vez. No combine preguntas y espere una sola respuesta.
Dos preguntas en una ¿Cuáles son las ventajas e inconvenientes de la cooperación con este programa?
No combine posiciones opuestas en una sola pregunta. Sepárelas, y las cosas serán mucho más claras.
Preguntas restrictivas ¿Piensa que las administradoras femeninas podrán algún día ser tan eficaces como los administradores masculinos?
La formulación de esta pregunta no parece admitir la posibilidad de que las mujeres podrían ser mejores. Evite las preguntas que eliminan de forma intrínseca ciertas opciones.
Preguntas directivas El cambio climático es una de las grandes problemáticas mundiales de nuestro tiempo. ¿Piensa que la UICN debería hacer más para responder al cambio climático?
No haga una declaración de posición previa a las preguntas. En ese tipo de preguntas, el entrevistador afirma una opinión o resume la posición de un suceso actual o reciente y luego pide una respuesta. Esto orienta al entrevistado en una dirección dada.
Preguntas cargadas ¿Estaría usted a favor o en contra de prohibir fumar en todas las oficinas de la UICN, puesto que daña su salud y la de los demás?
Evite preguntas que usan palabras cargadas y con peso emocional.
Guía para las evaluaciones estratégicas de la UICN
43
Apéndice VI – Utilización de cuestionarios para la recolección de datos Cuestionarios
Se recomiendan los siguientes procedimientos para una encuesta con cuestionario.
� Determine las preguntas principales.
� Prepare los diversos puntos del cuestionario.
� Diseñe el formato del cuestionario.
� Realice una prueba experimental del cuestionario.
� Elabore una estrategia de recolección de datos.
� Redacte una carta de presentación y envíe el cuestionario.
� Siga las respuestas.
� Analice los datos de la encuesta.
Determine las preguntas principales
Se debe empezar definiendo claramente las preguntas o cuestiones principales a tratar. Generalmente, éstas estarán reflejadas en los diversos capítulos del cuestionario, como se describe más abajo.
Modelos de capítulos
Introducción o informaciones generales
Este capítulo incluye informaciones sobre su interlocutor que pueden ser importantes para su análisis. Debería solicitar información básica acerca del entrevistado, que usted tendrá que tratar, tal como el departamento, región, experiencia, sexo, posición y experiencia con la UICN.
Pregunte sólo lo que es esencial para su sub-análisis. Si no necesita saber, no pregunte.
Calidad de los bienes y servicios recibidos por su cliente
Este capítulo es el centro del cuestionario y requiere la determinación de dimensiones de la calidad que pueden ser importantes. El entrevistado evaluará la calidad de sus productos en el marco de estas dimensiones.
Otras consideraciones
Para este capítulo, escoja un título que incluya otras dimensiones importantes del servicio al cliente, tales como “Cumplimiento de los plazos", “Seguridad”, o “Responsabilidad medioambiental.”
Reactividad, resolución de problemas y servicio al cliente
Esta serie de preguntas tratará de las percepciones de su interlocutor con respecto a su servicio. Esta capítulo podría combinarse con el capítulo dedicado a la calidad u a otras consideraciones.
Estos grandes capítulos de su cuestionario proporcionarán las líneas generales. Una vez que usted conoce esos temas principales, deberá elaborar las preguntas o puntos del cuestionario.
Prepare los diversos puntos del cuestionario
Tipos de rubros de un cuestionario
44
Guía para las eva luac iones es t ra tég icas de la UICN
45
Guía para las evaluaciones estratégicas de la UICN
44
Deberá usted redactar los diversos puntos que conforman los capítulos del cuestionario. Es difícil variar los tipos de preguntas frecuentemente; por lo tanto, economice pues dentro de cada capítulo, haciendo tipos de preguntas similares.
Antes de inventar su propio tipo de cuestionario, familiarícese con los seis tipos que se describen a continuación. Las alternativas novedosas y no probadas son a menudo confusas para el lector. Utilice nuevas alternativas sólo cuando ya esté totalmente familiarizado con los tipos de rubros descritos a continuación.
Opciones múltiples
Este tipo de pregunta es útil para el capítulo introductivo de informaciones generales.
¿Desde cuándo es miembro de la Comisión de Supervivencia de las Especies (CSE)? ( Marque un casillero)
� Menos de 6 meses � 1-2 años � Más de 2 años
Rellenar los espacios en blanco
Use esta forma cuando las posibilidades son demasiadas para enumerar en una lista de tipo opciones múltiples. Funciona combinada con preguntas de opciones múltiples. Por ello, también se adecua a la introducción.
¿En qué oficina de la UICN trabaja usted?
_________________________________________________________
Escala de calificación
Este tipo de punto le permite recoger mucha información de manera eficiente. Las preguntas de escala son útiles para valorar o calificar sus bienes y servicios.
¿Qué importancia tiene para usted aprender sobre?:
Ninguna Mucha
a) Responsabilidad medioambiental 1 2 3 4 5
Lista
Este tipo de pregunta proporciona mayores informaciones que una escala. Obliga a la persona interrogada a definir lo que considera importante y ayuda a los investigadores a evitar el problema de las personas que dicen estar de acuerdo sencillamente porque les resulta más fácil marcar un casillero sin preguntarse qué es verdaderamente importante para ellos.
¿Cuáles fueron los aspectos del curso de formación que más le interesaron? Enumere tres.
Guía para las evaluaciones estratégicas de la UICN
45
Comentarios
Este tipo de pregunta representa otra manera de entender lo que su interlocutor considera importante. Es especialmente útil para los puntos de síntesis en el capítulo de la conclusión.
Otros comentarios sobre la orientación futura de este programa.
Escala de Likert
La escala de Likert permite al encuestado indicar su acuerdo o desacuerdo con una serie de afirmaciones.(Observe que se trata de afirmaciones, no de preguntas). La escala de Likert es fácil de utilizar, si sabe usted cómo y, al igual que otras preguntas con escalas, es un medio eficiente para recolectar gran cantidad de información.
Muy en desacuerdo
En desacuerdo
Ni de acuerdo ni
endesacuerdo
De acuerdo Muy de acuerdo
Estoy satisfecho con mi desarrollo profesional (es decir, estoy adquiriendo nuevas competencias y conocimientos)
� � � � �
Hay posibilidades de avance en la carrera (es decir, de asumir mayores responsabilidades)
� � � � �
Ahora, pruebe usted. Escriba sus propias afirmaciones para dimensiones de los productos de su unidad de trabajo. Incluya puntos formulados tanto de forma positiva como negativa.
1.
2.
3.
44 45
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
44
Deberá usted redactar los diversos puntos que conforman los capítulos del cuestionario. Es difícil variar los tipos de preguntas frecuentemente; por lo tanto, economice pues dentro de cada capítulo, haciendo tipos de preguntas similares.
Antes de inventar su propio tipo de cuestionario, familiarícese con los seis tipos que se describen a continuación. Las alternativas novedosas y no probadas son a menudo confusas para el lector. Utilice nuevas alternativas sólo cuando ya esté totalmente familiarizado con los tipos de rubros descritos a continuación.
Opciones múltiples
Este tipo de pregunta es útil para el capítulo introductivo de informaciones generales.
¿Desde cuándo es miembro de la Comisión de Supervivencia de las Especies (CSE)? ( Marque un casillero)
� Menos de 6 meses � 1-2 años � Más de 2 años
Rellenar los espacios en blanco
Use esta forma cuando las posibilidades son demasiadas para enumerar en una lista de tipo opciones múltiples. Funciona combinada con preguntas de opciones múltiples. Por ello, también se adecua a la introducción.
¿En qué oficina de la UICN trabaja usted?
_________________________________________________________
Escala de calificación
Este tipo de punto le permite recoger mucha información de manera eficiente. Las preguntas de escala son útiles para valorar o calificar sus bienes y servicios.
¿Qué importancia tiene para usted aprender sobre?:
Ninguna Mucha
a) Responsabilidad medioambiental 1 2 3 4 5
Lista
Este tipo de pregunta proporciona mayores informaciones que una escala. Obliga a la persona interrogada a definir lo que considera importante y ayuda a los investigadores a evitar el problema de las personas que dicen estar de acuerdo sencillamente porque les resulta más fácil marcar un casillero sin preguntarse qué es verdaderamente importante para ellos.
¿Cuáles fueron los aspectos del curso de formación que más le interesaron? Enumere tres.
Guía para las evaluaciones estratégicas de la UICN
45
Comentarios
Este tipo de pregunta representa otra manera de entender lo que su interlocutor considera importante. Es especialmente útil para los puntos de síntesis en el capítulo de la conclusión.
Otros comentarios sobre la orientación futura de este programa.
Escala de Likert
La escala de Likert permite al encuestado indicar su acuerdo o desacuerdo con una serie de afirmaciones.(Observe que se trata de afirmaciones, no de preguntas). La escala de Likert es fácil de utilizar, si sabe usted cómo y, al igual que otras preguntas con escalas, es un medio eficiente para recolectar gran cantidad de información.
Muy en desacuerdo
En desacuerdo
Ni de acuerdo ni
endesacuerdo
De acuerdo Muy de acuerdo
Estoy satisfecho con mi desarrollo profesional (es decir, estoy adquiriendo nuevas competencias y conocimientos)
� � � � �
Hay posibilidades de avance en la carrera (es decir, de asumir mayores responsabilidades)
� � � � �
Ahora, pruebe usted. Escriba sus propias afirmaciones para dimensiones de los productos de su unidad de trabajo. Incluya puntos formulados tanto de forma positiva como negativa.
1.
2.
3.
46
Guía para las eva luac iones es t ra tég icas de la UICN
47
Guía para las evaluaciones estratégicas de la UICN
46
Diseñe el formato del cuestionario
A medida que formula los diversos puntos, debería empezar a contemplar el formato general de su cuestionario. Siga las siguientes reglas:
� Espacie los puntos para evitar confusiones.
� Use los formatos mostrados en los ejemplos.
� No permita que una pregunta empiece en una página y acabe en otra.
� Dé instrucciones al encuestado sobre lo que debe hacer con cada tipo de pregunta.
� Numere las preguntas en orden consecutivo.
Organícelo en forma de folleto
� Para darle un aspecto profesional y para que sea más fácil de rellenar.
Incluya un título y una introducción
� Para que sus interlocutores sepan lo que está haciendo; y
� para ayudarlos a rellenar el cuestionario correctamente.
Organice el cuestionario en capítulos, cada uno con un título
� Para ayudar al encuestado a estructurar su reflexión; y
� para facilitar el análisis.
Agrupe tipos de puntos similares
� Hágalo especialmente con las preguntas escalares. Sin embargo
� las preguntas en las que se pide rellenar espacios y las de opción múltiple pueden entremezclarse.
Utilice todo el espacio disponible
� Procure limitar el cuestionario a cuatro páginas.
� Use espacios para comentarios para rellenar páginas.
Haga una prueba experimental del cuestionario
Aún el mejor cuestionario debe ser puesto a prueba. Puede ser que usted entienda todo en el cuestionario, pero quizás no su interlocutor. Algunos consejos para ayudarle a probar su cuestionario:
Muestre el cuestionario a colegas críticos
� Pídales que lo lean y anoten comentarios al margen; y
� corrija el cuestionario.
Pruebe el cuestionario con algunos interesados
� Reúna a 5 o 6 interesados.
� Pídales que rellenen el cuestionario por escrito.
� Discuta cada pregunta con el grupo.
Durante esta prueba, plantee preguntas tales como
� ¿Estaba claro el punto?; ¿se podía contestar?
Guía para las evaluaciones estratégicas de la UICN
47
� ¿Tocó la pregunta el aspecto importante del asunto?
� ¿Qué falta preguntar?
� ¿El cuestionario en su conjunto les permite a los interesados expresar realmente lo que opinan del trabajo de su organización?
Corrija nuevamente
Suena como un trabajo enorme. ¡Y lo es! Crear un buen cuestionario puede llevar una semana entera de trabajo, incluso para un profesional.
Elabore una estrategia de recolección de datos
¡Ya tiene un cuestionario listo para funcionar! Tendrá que idear una estrategia sobre cómo y dónde enviarlo. La primera parte de su estrategia consiste en seleccionar una muestra de personas que representen de manera equilibrada a todos sus clientes. Prepare la lista de los clientes de su muestra.
La segunda parte de su estrategia es decidir qué métodos empleará para enviar su cuestionario.
Cuestionarios clásicos
Se imprimen los cuestionarios, en su oficina o en una imprenta, y se los envía por correo a los destinatarios. Los encuestados los rellenan y los remiten nuevamente por correo. Se incorporan los resultados manualmente en una base de datos o en un programa estadístico con miras a su análisis.
Barrido óptico
Es posible imprimir los cuestionarios de modo que puedan ser leídos por barrido óptico (escáner) que recoge las respuestas automáticamente. Los cuestionarios presentados como ejemplo en el Apéndice VII fueron ideados para ser usados de este modo. (Observe que se pueden utilizar pictogramas para ilustrar determinados puntos).
Cuestionarios electrónicos
Es un fichero electrónico que se envía a los clientes por correo electrónico. El cliente recibe el fichero, rellena el cuestionario en su ordenador y remite nuevamente el fichero por correo electrónico.
Cuestionarios en Internet
Este tipo de cuestionarios requiere una programación específica, para diseñar un programa informáticoque pueda colocarse en Internet. Requiere que los encuestados respondan a una breve serie de preguntas en línea. El programa informático calcula automáticamente las respuestas. Las encuestas de Internet se usan por lo general cuando se requieren muestras muy numerosas (centenares, miles) y cuando se pueden reducir las preguntas a un mínimo de preguntas cuantitativas.
Seguimiento
Necesita usted también una estrategia de seguimiento. Puede incluir:
� Comprobar la cantidad de respuestas recibida cada día – el correo electrónico le permite saber quién no ha contestado aún.
� Enviar un recordatorio dos semanas después del primer envío.
� Determinar medidas correctivas si las respuestas son escasas.
Cuando personas que ocupan cargos importantes en cada unidad distribuyen y recogen el cuestionario, las redes piramidales son útiles, pero las redes personales son las mejores por lo que hace a obtener respuestas.
46 47
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
46
Diseñe el formato del cuestionario
A medida que formula los diversos puntos, debería empezar a contemplar el formato general de su cuestionario. Siga las siguientes reglas:
� Espacie los puntos para evitar confusiones.
� Use los formatos mostrados en los ejemplos.
� No permita que una pregunta empiece en una página y acabe en otra.
� Dé instrucciones al encuestado sobre lo que debe hacer con cada tipo de pregunta.
� Numere las preguntas en orden consecutivo.
Organícelo en forma de folleto
� Para darle un aspecto profesional y para que sea más fácil de rellenar.
Incluya un título y una introducción
� Para que sus interlocutores sepan lo que está haciendo; y
� para ayudarlos a rellenar el cuestionario correctamente.
Organice el cuestionario en capítulos, cada uno con un título
� Para ayudar al encuestado a estructurar su reflexión; y
� para facilitar el análisis.
Agrupe tipos de puntos similares
� Hágalo especialmente con las preguntas escalares. Sin embargo
� las preguntas en las que se pide rellenar espacios y las de opción múltiple pueden entremezclarse.
Utilice todo el espacio disponible
� Procure limitar el cuestionario a cuatro páginas.
� Use espacios para comentarios para rellenar páginas.
Haga una prueba experimental del cuestionario
Aún el mejor cuestionario debe ser puesto a prueba. Puede ser que usted entienda todo en el cuestionario, pero quizás no su interlocutor. Algunos consejos para ayudarle a probar su cuestionario:
Muestre el cuestionario a colegas críticos
� Pídales que lo lean y anoten comentarios al margen; y
� corrija el cuestionario.
Pruebe el cuestionario con algunos interesados
� Reúna a 5 o 6 interesados.
� Pídales que rellenen el cuestionario por escrito.
� Discuta cada pregunta con el grupo.
Durante esta prueba, plantee preguntas tales como
� ¿Estaba claro el punto?; ¿se podía contestar?
Guía para las evaluaciones estratégicas de la UICN
47
� ¿Tocó la pregunta el aspecto importante del asunto?
� ¿Qué falta preguntar?
� ¿El cuestionario en su conjunto les permite a los interesados expresar realmente lo que opinan del trabajo de su organización?
Corrija nuevamente
Suena como un trabajo enorme. ¡Y lo es! Crear un buen cuestionario puede llevar una semana entera de trabajo, incluso para un profesional.
Elabore una estrategia de recolección de datos
¡Ya tiene un cuestionario listo para funcionar! Tendrá que idear una estrategia sobre cómo y dónde enviarlo. La primera parte de su estrategia consiste en seleccionar una muestra de personas que representen de manera equilibrada a todos sus clientes. Prepare la lista de los clientes de su muestra.
La segunda parte de su estrategia es decidir qué métodos empleará para enviar su cuestionario.
Cuestionarios clásicos
Se imprimen los cuestionarios, en su oficina o en una imprenta, y se los envía por correo a los destinatarios. Los encuestados los rellenan y los remiten nuevamente por correo. Se incorporan los resultados manualmente en una base de datos o en un programa estadístico con miras a su análisis.
Barrido óptico
Es posible imprimir los cuestionarios de modo que puedan ser leídos por barrido óptico (escáner) que recoge las respuestas automáticamente. Los cuestionarios presentados como ejemplo en el Apéndice VII fueron ideados para ser usados de este modo. (Observe que se pueden utilizar pictogramas para ilustrar determinados puntos).
Cuestionarios electrónicos
Es un fichero electrónico que se envía a los clientes por correo electrónico. El cliente recibe el fichero, rellena el cuestionario en su ordenador y remite nuevamente el fichero por correo electrónico.
Cuestionarios en Internet
Este tipo de cuestionarios requiere una programación específica, para diseñar un programa informáticoque pueda colocarse en Internet. Requiere que los encuestados respondan a una breve serie de preguntas en línea. El programa informático calcula automáticamente las respuestas. Las encuestas de Internet se usan por lo general cuando se requieren muestras muy numerosas (centenares, miles) y cuando se pueden reducir las preguntas a un mínimo de preguntas cuantitativas.
Seguimiento
Necesita usted también una estrategia de seguimiento. Puede incluir:
� Comprobar la cantidad de respuestas recibida cada día – el correo electrónico le permite saber quién no ha contestado aún.
� Enviar un recordatorio dos semanas después del primer envío.
� Determinar medidas correctivas si las respuestas son escasas.
Cuando personas que ocupan cargos importantes en cada unidad distribuyen y recogen el cuestionario, las redes piramidales son útiles, pero las redes personales son las mejores por lo que hace a obtener respuestas.
48
Guía para las eva luac iones es t ra tég icas de la UICN
49
Guía para las evaluaciones estratégicas de la UICN
48
Prepare una carta de presentación y envíe el cuestionario
Cada interlocutor miembro de su muestra debería recibir:
� una carta de presentación;
� un cuestionario elaborado profesionalmente; y
� un sobre con su dirección para devolver el cuestionario, a menos que utilice el correo electrónico.
Carta de presentación
Todo cuestionario logrado va acompañado por una carta de presentación. La carta debería incluir seis indicaciones:
� el propósito del cuestionario;
� quién lo envía;
� por qué fue elegido el encuestado;
� dónde, cómo, y cuándo devolver el cuestionario;
� a quién contactar si hay más preguntas; y
� si y cómo se compartirán los resultados.
Siga las respuestas
� Prevea entre 4 y 6 semanas para obtener respuestas a su cuestionario.
� Use su estrategia de seguimiento: envíe cartas recordatorias o ponga su red en acción.
� Empiece su análisis cuando las respuestas empiezan a agotarse.
Analice los datos de la encuesta
El análisis de cuestionarios generalmente implica tratar grandes magnitudes o una variedad de categorías. Esto requiere usualmente utilizar conceptos estadísticos y programas informáticos. Existen numerosos manuales o programas simples de estadística para ayudarle a analizar los datos.
Seis etapas para la construcción de cuestionarios eficaces: resumen
Defina sus preguntas
� ¿Qué pretende averiguar?
� ¿Cómo podrá ayudarle la información?
� ¿Qué temas se tratarán en el cuestionario y cuáles se prestan más a otros métodos de recolección de datos?
Defina sus sub-preguntas
� Haga una lista de todas las cosas que desea averiguar.
� Indique las sub-preguntas a incluir en el cuestionario.
� Afine su lista.
Prepare los diversos puntos del cuestionario
Guía para las evaluaciones estratégicas de la UICN
49
� Traduzca las preguntas que se plantean en diversos puntos.
� Formule los puntos en forma de preguntas de opciones múltiples, espacios a rellenar, escalas de calificación, listas, pedidos de comentarios y escalas de Likert; escoja los tipos más apropiados a su situación.
Organice los puntos
� Agrupe los puntos en capítulos temáticos.
� Agrupe los puntos por tipo de pregunta.
� Vuelva a redactar los puntos si es necesario.
Diseñe el formato del cuestionario
� Ordene y numere las preguntas.
� Dispóngalo en forma de folleto.
� Distribuya las preguntas entre las páginas.
Haga una prueba experimental del cuestionario
� Trabaje la formulación del cuestionario con encuestados.
� Realice una prueba grupal del proyecto de cuestionario.
� Discuta el cuestionario y pruébelo nuevamente si es necesario.
48 49
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
48
Prepare una carta de presentación y envíe el cuestionario
Cada interlocutor miembro de su muestra debería recibir:
� una carta de presentación;
� un cuestionario elaborado profesionalmente; y
� un sobre con su dirección para devolver el cuestionario, a menos que utilice el correo electrónico.
Carta de presentación
Todo cuestionario logrado va acompañado por una carta de presentación. La carta debería incluir seis indicaciones:
� el propósito del cuestionario;
� quién lo envía;
� por qué fue elegido el encuestado;
� dónde, cómo, y cuándo devolver el cuestionario;
� a quién contactar si hay más preguntas; y
� si y cómo se compartirán los resultados.
Siga las respuestas
� Prevea entre 4 y 6 semanas para obtener respuestas a su cuestionario.
� Use su estrategia de seguimiento: envíe cartas recordatorias o ponga su red en acción.
� Empiece su análisis cuando las respuestas empiezan a agotarse.
Analice los datos de la encuesta
El análisis de cuestionarios generalmente implica tratar grandes magnitudes o una variedad de categorías. Esto requiere usualmente utilizar conceptos estadísticos y programas informáticos. Existen numerosos manuales o programas simples de estadística para ayudarle a analizar los datos.
Seis etapas para la construcción de cuestionarios eficaces: resumen
Defina sus preguntas
� ¿Qué pretende averiguar?
� ¿Cómo podrá ayudarle la información?
� ¿Qué temas se tratarán en el cuestionario y cuáles se prestan más a otros métodos de recolección de datos?
Defina sus sub-preguntas
� Haga una lista de todas las cosas que desea averiguar.
� Indique las sub-preguntas a incluir en el cuestionario.
� Afine su lista.
Prepare los diversos puntos del cuestionario
Guía para las evaluaciones estratégicas de la UICN
49
� Traduzca las preguntas que se plantean en diversos puntos.
� Formule los puntos en forma de preguntas de opciones múltiples, espacios a rellenar, escalas de calificación, listas, pedidos de comentarios y escalas de Likert; escoja los tipos más apropiados a su situación.
Organice los puntos
� Agrupe los puntos en capítulos temáticos.
� Agrupe los puntos por tipo de pregunta.
� Vuelva a redactar los puntos si es necesario.
Diseñe el formato del cuestionario
� Ordene y numere las preguntas.
� Dispóngalo en forma de folleto.
� Distribuya las preguntas entre las páginas.
Haga una prueba experimental del cuestionario
� Trabaje la formulación del cuestionario con encuestados.
� Realice una prueba grupal del proyecto de cuestionario.
� Discuta el cuestionario y pruébelo nuevamente si es necesario.
50
Guía para las eva luac iones es t ra tég icas de la UICN
51
Guía para las evaluaciones estratégicas de la UICN
50
Apéndice VII – Ejemplos de cuestionarios y protocolos de la UICN Los siguientes cuestionarios fueron preparados para evaluaciones estratégicas previas y la Oficina de S&E los pone a disposición para adaptarlos a nuevos procesos de evaluación. Aunque las preguntas pueden variar de una evaluación a otra, hay algunas preguntas centrales que pueden ser de utilidad a los equipos al diseñar nuevas herramientas de evaluación. Tome contacto con la oficina de S&E para obtener copias de cualquiera de las siguientes.
PARTE INTERESADA EVALUACION PARA LA CUAL FUE DESARROLLADA LAHERRAMIENTA
IDIOMA
Directores Regionales Evaluación estratégica de la UICN – África occidental (BRAO)
Francés
Directores Regionales Evaluación estratégica de la UICN - Oficina Regional Europea (ERO)
Inglés
Directores Regionales Evaluación estratégica de la UICN – Oficina de Canadá Inglés
Directores de Programas Temáticos Evaluación estratégica de la UICN – Canadá Inglés
Encargados de Programas Temáticos y Puntos focales de Comisiones
Evaluación estratégica de la UICN – ERO Inglés
Encargados de Programas Temáticos y Puntos focales de Comisiones
Evaluación estratégica de la UICN – África occidental (BRAO)
Francés
Donantes Autoevaluación - Oficina de la UICN Senegal Francés
Donantes Evaluación estratégica de la UICN – ERO Inglés
Donantes Evaluación estratégica de la UICN – Oficina de Canadá Inglés
Donantes Evaluación estratégica de la UICN – CEI Inglés
Donantes Evaluación estratégica de la UICN – Pakistán Inglés
Donantes Evaluación estratégica de la UICN – África occidental (BRAO)
Francés
Miembros Evaluación estratégica de la UICN – Canadá Francés
Miembros Evaluación estratégica de la UICN – ERO Inglés
Miembros Autoevaluación - Oficina de la UICN Senegal Francés
Miembros Evaluación estratégica de la UICN –Oficina de Canadá Inglés
Miembros Evaluación estratégica de la UICN - Oficina de Sudamérica Inglés
Miembros Evaluación estratégica de la UICN – CEI Inglés
Miembros Evaluación estratégica de la UICN – Oficina de Pakistán Inglés
Miembros Evaluación estratégica de la UICN – Sudamérica Español
Miembros Evaluación estratégica de la UICN - ERO Español
Miembros Evaluación estratégica de la UICN – África occidental (BRAO)
Francés
Miembros Evaluación estratégica de la UICN - Centro para la Cooperación del Mediterráneo
Inglés
Miembros Evaluación estratégica de la UICN - Centro para la Francés
Guía para las evaluaciones estratégicas de la UICN
51
Cooperación del Mediterráneo
Miembros Evaluación estratégica de la UICN - Centro para la Cooperación del Mediterráneo
Español
Personal Autoevaluación - Oficina de la UICN Senegal Francés
Personal Evaluación estratégica de la UICN – África occidental (BRAO)
Francés
Personal Evaluación estratégica de la UICN – Autoevaluación del personal de Pakistán
Inglés
Personal Evaluación estratégica de la UICN – Autoevaluación del personal de CEI
Inglés
Personal Evaluación estratégica de la UICN – Autoevaluación del personal de Canadá
Inglés
Personal Evaluación estratégica de la UICN – Autoevaluación del personal de Sudamérica
Español
Personal Evaluación estratégica de la UICN – Autoevaluación del personal de ERO
Inglés
Personal Evaluación estratégica de la UICN - Centro para la Cooperación del Mediterráneo
Inglés
Asociados Evaluación estratégica de la UICN - Implementación del Acuerdo sobre el Programa de la Lista Roja
Inglés
50 51
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
50
Apéndice VII – Ejemplos de cuestionarios y protocolos de la UICN Los siguientes cuestionarios fueron preparados para evaluaciones estratégicas previas y la Oficina de S&E los pone a disposición para adaptarlos a nuevos procesos de evaluación. Aunque las preguntas pueden variar de una evaluación a otra, hay algunas preguntas centrales que pueden ser de utilidad a los equipos al diseñar nuevas herramientas de evaluación. Tome contacto con la oficina de S&E para obtener copias de cualquiera de las siguientes.
PARTE INTERESADA EVALUACION PARA LA CUAL FUE DESARROLLADA LAHERRAMIENTA
IDIOMA
Directores Regionales Evaluación estratégica de la UICN – África occidental (BRAO)
Francés
Directores Regionales Evaluación estratégica de la UICN - Oficina Regional Europea (ERO)
Inglés
Directores Regionales Evaluación estratégica de la UICN – Oficina de Canadá Inglés
Directores de Programas Temáticos Evaluación estratégica de la UICN – Canadá Inglés
Encargados de Programas Temáticos y Puntos focales de Comisiones
Evaluación estratégica de la UICN – ERO Inglés
Encargados de Programas Temáticos y Puntos focales de Comisiones
Evaluación estratégica de la UICN – África occidental (BRAO)
Francés
Donantes Autoevaluación - Oficina de la UICN Senegal Francés
Donantes Evaluación estratégica de la UICN – ERO Inglés
Donantes Evaluación estratégica de la UICN – Oficina de Canadá Inglés
Donantes Evaluación estratégica de la UICN – CEI Inglés
Donantes Evaluación estratégica de la UICN – Pakistán Inglés
Donantes Evaluación estratégica de la UICN – África occidental (BRAO)
Francés
Miembros Evaluación estratégica de la UICN – Canadá Francés
Miembros Evaluación estratégica de la UICN – ERO Inglés
Miembros Autoevaluación - Oficina de la UICN Senegal Francés
Miembros Evaluación estratégica de la UICN –Oficina de Canadá Inglés
Miembros Evaluación estratégica de la UICN - Oficina de Sudamérica Inglés
Miembros Evaluación estratégica de la UICN – CEI Inglés
Miembros Evaluación estratégica de la UICN – Oficina de Pakistán Inglés
Miembros Evaluación estratégica de la UICN – Sudamérica Español
Miembros Evaluación estratégica de la UICN - ERO Español
Miembros Evaluación estratégica de la UICN – África occidental (BRAO)
Francés
Miembros Evaluación estratégica de la UICN - Centro para la Cooperación del Mediterráneo
Inglés
Miembros Evaluación estratégica de la UICN - Centro para la Francés
Guía para las evaluaciones estratégicas de la UICN
51
Cooperación del Mediterráneo
Miembros Evaluación estratégica de la UICN - Centro para la Cooperación del Mediterráneo
Español
Personal Autoevaluación - Oficina de la UICN Senegal Francés
Personal Evaluación estratégica de la UICN – África occidental (BRAO)
Francés
Personal Evaluación estratégica de la UICN – Autoevaluación del personal de Pakistán
Inglés
Personal Evaluación estratégica de la UICN – Autoevaluación del personal de CEI
Inglés
Personal Evaluación estratégica de la UICN – Autoevaluación del personal de Canadá
Inglés
Personal Evaluación estratégica de la UICN – Autoevaluación del personal de Sudamérica
Español
Personal Evaluación estratégica de la UICN – Autoevaluación del personal de ERO
Inglés
Personal Evaluación estratégica de la UICN - Centro para la Cooperación del Mediterráneo
Inglés
Asociados Evaluación estratégica de la UICN - Implementación del Acuerdo sobre el Programa de la Lista Roja
Inglés
52
Guía para las eva luac iones es t ra tég icas de la UICN
53
Guía para las evaluaciones estratégicas de la UICN
52
Apéndice VIII – Introducción de los datos de un cuestionario escalar en MS Excel Nota: Estos son consejos básicos que no contemplan desglosar las respuestas por sexo, categoría de encuestado (asociados, miembros, donantes, etc.). Podrían añadirse niveles adicionales de complejidad.
� Numere cada cuestionario; será éste el número de identificación del cuestionario. En el ejemplo presentado más arriba, se codificaron 8 cuestionarios y se introdujeron las respuestas.
� Escriba el número de cada pregunta que incluya datos escalares en la línea 1.En el ejemplo anterior, nuestras preguntas empiezan en la pregunta 1.2 y terminan en la pregunta 4.5.
� Numere la gama de respuestas posibles de la escala dentro de cada pregunta (apúntelo en un original del cuestionario), por ejemplo, si en el cuestionario la escala es “de acuerdo” “ni de acuerdo ni en desacuerdo” “en desacuerdo”, se numerarán de 1 a 3 – de acuerdo=1, ni de acuerdo ni en desacuerdo =2 y en desacuerdo = 3.
� Introduzca todos sus datos. Por ejemplo, en el cuestionario ID 1, pregunta 1.2 contestada "1", pregunta 1.2 contestada "4", pregunta 1.5 contestada "3", etc.
� Introduzca su fórmula “COUNTIF” debajo de sus datos. Cerciórese que se incluyó el máximo rango previsto (a saber, si la escala va de 1 a 5, verifique que se incluyan fórmulas COUNTIF hasta 5). Aquí Excel cuenta cuántas personas respondieron "1", cuántas personas respondieron "2", etc.
Guía para las evaluaciones estratégicas de la UICN
53
� Escriba sus preguntas debajo de todos los datos y enlace los resultados de sus fórmulas COUNTIF con la pregunta correspondiente. Como puede ver en el ejemplo de más arriba, la pregunta A.1 "did not meet" ("no cumple con") se enlaza con la fórmula de la celda “B15”.
� Resalte el texto de cada pregunta, una pregunta por vez, y use el asistente gráfico para crear un gráfico de sus datos.
Datos de un cuestionario cualitativo en Word
� Cree un documento Word separado para cada tipo de cuestionario, por ejemplo, miembro, donante, personal, etc.
� En el documento Word, cree un cuadro para cada pregunta cualitativa y ponga una columna a la izquierda con el número de identificación del cuestionario (véase el ejemplo más arriba). Ya habrá asignado previamente un número de identificación a cada pregunta al incorporar los datos en Excel.
� Escriba los comentarios en cada cuadro por pregunta al lado del número de identificación del cuestionario correspondiente. Si los encuestados no contestaron, deje la línea en blanco.
52 53
Guía para las eva luac iones es t ra tég icas de la UICNGuía para las evaluaciones estratégicas de la UICN
52
Apéndice VIII – Introducción de los datos de un cuestionario escalar en MS Excel Nota: Estos son consejos básicos que no contemplan desglosar las respuestas por sexo, categoría de encuestado (asociados, miembros, donantes, etc.). Podrían añadirse niveles adicionales de complejidad.
� Numere cada cuestionario; será éste el número de identificación del cuestionario. En el ejemplo presentado más arriba, se codificaron 8 cuestionarios y se introdujeron las respuestas.
� Escriba el número de cada pregunta que incluya datos escalares en la línea 1.En el ejemplo anterior, nuestras preguntas empiezan en la pregunta 1.2 y terminan en la pregunta 4.5.
� Numere la gama de respuestas posibles de la escala dentro de cada pregunta (apúntelo en un original del cuestionario), por ejemplo, si en el cuestionario la escala es “de acuerdo” “ni de acuerdo ni en desacuerdo” “en desacuerdo”, se numerarán de 1 a 3 – de acuerdo=1, ni de acuerdo ni en desacuerdo =2 y en desacuerdo = 3.
� Introduzca todos sus datos. Por ejemplo, en el cuestionario ID 1, pregunta 1.2 contestada "1", pregunta 1.2 contestada "4", pregunta 1.5 contestada "3", etc.
� Introduzca su fórmula “COUNTIF” debajo de sus datos. Cerciórese que se incluyó el máximo rango previsto (a saber, si la escala va de 1 a 5, verifique que se incluyan fórmulas COUNTIF hasta 5). Aquí Excel cuenta cuántas personas respondieron "1", cuántas personas respondieron "2", etc.
Guía para las evaluaciones estratégicas de la UICN
53
� Escriba sus preguntas debajo de todos los datos y enlace los resultados de sus fórmulas COUNTIF con la pregunta correspondiente. Como puede ver en el ejemplo de más arriba, la pregunta A.1 "did not meet" ("no cumple con") se enlaza con la fórmula de la celda “B15”.
� Resalte el texto de cada pregunta, una pregunta por vez, y use el asistente gráfico para crear un gráfico de sus datos.
Datos de un cuestionario cualitativo en Word
� Cree un documento Word separado para cada tipo de cuestionario, por ejemplo, miembro, donante, personal, etc.
� En el documento Word, cree un cuadro para cada pregunta cualitativa y ponga una columna a la izquierda con el número de identificación del cuestionario (véase el ejemplo más arriba). Ya habrá asignado previamente un número de identificación a cada pregunta al incorporar los datos en Excel.
� Escriba los comentarios en cada cuadro por pregunta al lado del número de identificación del cuestionario correspondiente. Si los encuestados no contestaron, deje la línea en blanco.