Jordi Pérez
Universidad Pompeu Fabra
Pruebas de Elección múltiple y de Ensayo
Tipos de pruebas para evaluar conocimientos: a) Suministro - Ensayo extenso
- Ensayo reducido
- Respuesta breve - Respuesta de complemento b) Selección - Verdadero – falso
- Correspondencia
- Elección múltiple
- Correspondencia variable (Extended-Matching Items)
Poco objetivas
Objetivas
---------------------------------------------------------------------------------------
Evaluación de los aprendizajes
Taxonomía de Bloom
Nivel Proceso Tipo de comportamiento
abstracto
6. Evaluación Hacer un juicio crítico fundamentado sobre criterios internos y externos
5. Síntesis Hacer un trabajo personal después de haber concebido un plan de acción
4. Análisis Identificar los elementos, las relaciones y los principios de organización de una asociación
3. Aplicación Recordar los conocimientos o los principios necesarios para resolver un problema
2. Comprensión Traspasar, interpretar y extrapolar a partir de ciertos conocimientos
1. Conocimientos Recordar palabras, hechos, convenciones, clasificaciones, principios, teorías...
concreto
Evaluación de los aprendizajes
PEM Pruebas de ensayo
Resultados Buenas para medir resultados de conocimientos, comprensión, aplicación y análisis Inadecuadas para medir capacidad de síntesis y evaluación
Poco eficaces para medir conocimientos Buenas para medir comprensión, aplicación y análisis Optimas para medir síntesis y evaluación
Comparación de las pruebas PEM y de ensayo (1)
Evaluación de los aprendizajes
PEM Pruebas de ensayo
Variabilidad del contenido
El hecho de tener muchos ítems permite un buen muestreo representativo del contenido Validez de contenido alta
El hecho de tener pocos ítems impide un buen muestreo representativo de contenido. Validez de contenido baja
Preparación de los ítems Difícil y larga Menos difícil y corta
Comparación de las pruebas PEM y de ensayo (2)
Evaluación de los aprendizajes
Comparación de las pruebas PEM y de ensayo (3)
PEM Pruebas de ensayo
Calificación Objetiva, rápida y fiable Subjetiva, larga, menos fiable
Factores de distorsión debidos al examinado
Habilidad de lectura. Respuestas al azar. Facilidad de copia.
Habilidad de expresión escrita
Factores de distorsión debidos al examinador
Ninguno (Errores corrección mecanizada)
Emociones. Efecto “halo”, Cansancio, Presentación. Tipo de letra.
Evaluación de los aprendizajes
Comparación de las pruebas PEM y de ensayo (4)
PEM Pruebas de ensayo
Efecto sobre el aprendizaje
Ayudan a recordar, interpretar y analizar ideas de otros El conocimiento de los resultados del examen puede ser inmediato y esto facilita el aprendizaje
Ayudan a organizar, integrar y expresar las ideas propias El conocimiento de los resultados es demorado
Evaluación de los aprendizajes
¿Cual de las siguientes personas es el autor de El Capital?
a) Mannheim b) Marx c) Weber d) Engels e) Michels
distractores enunciado
correcta
Normas para elaborar PEM (1) 1. El enunciado puede ser largo pero las alternativas cortas
2. Enunciado redactado en forma afirmativa
3. En caso contrario, hacer énfasis en forma negativa
4. Enunciado en lenguaje claro y sencillo
5. Asegurar que la respuesta presuntamente correcta lo sea
realmente 6. Consistencia gramatical en todas las opciones (evitar indicios sintácticos para la elección)
Evaluación de los aprendizajes
Normas para elaborar PEM (2) 7. Credibilidad de los distractores 8. Evitar las opciones “todas las anteriores ” y “ninguna de las
anteriores” 9. Variar al azar la posición de la respuesta correcta 10. Independencia de los ítems 11. Formato adecuado con diseño regular y claro 12. Revisión de los ítems por colegas
Evaluación de los aprendizajes
Evaluación de los aprendizajes
a) formato tradicional
¿Cual es la capital de Francia? a) Atenas b) Bruselas c) Tokio d) Praga e) París
b) Formato de tres alternativas ¿Cuál/es de los siguientes ríos
pasa/n por España? a) El Rin b) El Danubio c) Los dos anteriores d) El Ebro e) Todos los anteriores
PEM de 5 opciones con una correcta c) Formato tipo k (4 alternativas) Señala todas las afirmaciones correctas: 1. El Ebro es un río de la península ibérica 2. Atenas es la capital de Francia 3. Las Montañas Rocosas están en los EEUU 4. Suiza pertenece a la Unión Europea a) 1, 2 i 3 b) 1 i 3 c) 2 i 4 d) 4 e) 1, 2, 3 i 4
Evaluación de los aprendizajes
Evaluación de los aprendizajes
Análisis de las PEM • Puntuación directa y corregida
• Análisis de ítems
– Índice de Dificultad – Índice de Discriminación – Análisis de las opciones
• Análisis de la prueba
– Dificultad general – Fiabilidad – Validez
Evaluación de los aprendizajes
Puntuación corregida
PC = Aciertos - Errores
n-1
PC: Puntuación corregida Aciertos: número de ítems contestados correctamente Errores: número de ítems contestados erróneamente n: número de opciones de cada ítem
Evaluación de los aprendizajes Análisis de ítems
1. Ordenar los alumnos por su puntuación 2. Clasificarlos en dos grupos (50% superior vs 50% inferior) 3. En cada ítem, contar el número de individuos del grupo
superior que ha escogido la opción correcta y hacer lo mismo con el grupo inferior.
4. Hacer un ficha por cada ítem
Evaluación de los aprendizajes
Ítem X a b c* d e blanco
Grupo superior 5 5 20 0 10 5
Grupo inferior 17 3 13 0 4 8
*opción correcta
Índice de Dificultad
I. Dif =
Estudiantes que no responden correctamente
Número total de estudiantes
Evaluación de los aprendizajes
Evaluación de los aprendizajes
Índice de Discriminación
I. Disc =
Número de casos
grupo superior con respuesta
correcta
- Número de casos grupo inferior con respuesta correcta
Número de casos en cada grupo
Evaluación de los aprendizajes
Fiabilidad de consistencia interna
Coef. Fiabilitat KR-21 = 1- M(K- M) K S2
K: número de ítems de la prueba M: media de las puntuaciones S: desviación estandard
Evaluación de los aprendizajes
Pruebas de correspondencia variable (extended-matching items)
Lista de opciones (más o menos extensa)
Pregunta
Descripciones o viñetas (en general dos)
Evaluación de los aprendizajes
Pruebas de correspondencia variable (extended-matching items)
(a) Campylobacter jejuni, (b) Candida albicans, (c) Giardia lamblia, (d) Rotavirus, (e) Salmonella Typhi, (f) Yersinia enterolítica, (g) Pseudomonas aeruginosa, (h) Escherichia coli, (i) Helicobacter Pylori, (j) Clostridius perfringens, (k) Shigella flexneri, (l) Mycobacteriu tuberculosis. Para cada uno de los siguientes casos, selecciones de la lista anterior, el
microorganismo más probable: - Un hombre de 48 años con dispepsia crónica presenta repentinamente dolor
abdominal intenso. El examen físico revela dolor general a la palpación, con rigidez y signo de Blumberg. La radiología muestra aire libre bajo el diafragma
- Una mujer de 45 años es tratada con antibióticos por infecciones recurrentes de las
vías respiratorias. Presenta dolor abdominal intenso, con diarrea hemorrágica. Endoscópicamente muestra colitis pseudomembranosa.
Evaluación de los aprendizajes
Pruebas de correspondencia variable (extended-matching items)
(a) Las señoritas de Avignon, (b) El pantocrátor de Taull, (c) La virgen de Montserrat, (d) El molino de la Galete, (e) El Guernica, (d) El David, (e) La piedad, (f) Las Meninas, (g) Los fusilamientos del 2 de mayo, (h) La fuente de mercurio Seleccione, de la lista anterior, las obras que fueron realizadas por autores contemporáneos a la construcción de los siguientes edificios: - Edificio 1. Iglesia con bóveda de cañón, de tres naves, con ventanas pequeñas de
arco de medio punto con capiteles con decoración floral. - Edificio 2. Pabellón racionalista construido para la exposición universal que fue
celebrada en el París.
Evaluación de los aprendizajes Pruebas de correspondencia variable (extended-matching items)
(a) Lo que el viento se llevó, (b) Extraños en un tren, (c) Ben-Hur, (d) Titanic, (e) Con la muerte en los talones, (f) El hombre que mató a Liberty Valance, (g) Ciudadano Kane, (h) Rio Bravo, (i) Fort Apache, (j) Casablanca, (k) Sin perdón, (l) Solo ante el peligro, (j) El hombre tranquilo, (k) Rio Lobo. De la lista anterior, seleccione las películas de los siguientes directores de cine: - Americano de origen irlandés famoso por sus “westerns” que rodó muchos
exteriores en el Monument Valey. - Británico que desarrolló su obra principal en EEUU caracterizada por el suspense y
que acostumbraba a hacer “cameos” en sus propias películas
Normas sobre pruebas de ensayo (elaboración) • Usar principalmente para medir resultados complejos de aprendizaje • Preguntas a partir de objetivos • Formulación clara
• Decidir criterios de corrección • No permitir escoger el tema a los estudiantes (si no es objetivo docente)
• Tiempo suficiente pero marcar límites
• Proporcionar a los estudiantes las normas de corrección
Evaluación de los aprendizajes
Normas sobre pruebas de ensayo (corrección 1) • Evaluar a partir del aprendizaje a medir y no de otros factores
(presentación, letra, redacción, etc.). En caso contrario informar sobre la contingencia. • Uso de criterios de puntuación bien definidos (a más precisión más
objetividad) y conocidos por los estudiantes
• Si hay más de un profesor, corrección por separado • Evaluar de forma anónima
• Corregir todos los exámenes a la misma hora del día • Corregir por preguntas y no por estudiantes
Evaluación de los aprendizajes
Normes sobre pruebas de ensayo (corrección 2)
• Ocultar puntuaciones de preguntas anteriores
• Tener una política clara sobre errores, respuestas irrelevantes o
respuestas sobrevenidas (comunicada a los estudiantes) • Ante casos dudosos, evaluar dos veces con intervalo
• Comentarios orales o por escrito a los estudiantes (feed back) • Recomendación de cálculo de fiabilidad (nosotros dos veces) y de
objetividad (nosotros y otros colegas)
Evaluación de los aprendizajes
Evaluación de las habilidades (1)
- Necesidad de peso proporcional en la calificación final - Dos tipos de posibilidades: Evaluación directa Evaluación indirecta sobre aspectos necesarios o relevantes
Evaluación de los aprendizajes
Evaluación de las habilidades (2)
Evaluación de los aprendizajes
Un modelo simple de competencia
Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
Sabe
Muestra
Sabe como
Actúa
Aute
ntic
idad
pro
fesi
onal
Conocimientos
Comportamiento
Tipos de pruebas para evaluar habilidades: 1. Examen teórico sobre requisitos prácticos (en situación de aula)
2. Presentación de casos reales o simulados con preguntas objetivas sobre
ellos (en situación de aula)
3. Examen práctico de suministro (en situación de aula)
4. Realización de una demanda (generalmente fuera del aula)
5. Pruebas programadas de resolución de problemas (informática)
6. Pruebas estandarizadas en estaciones de evaluación (simulación de la realidad)
7. Realización de la habilidad (en situación real)
Evaluación de los aprendizajes