ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 1
Adaptación de un instrumento para evaluación diagnóstica en lectura
crítica para los estudiantes de Tecnología en Sistemas de la facultad de
Nuevas Tecnologías de la Información y las Telecomunicaciones de la
Fundación Universitaria CIDCA
Omaira Torres Maldonado
Universidad de Los Andes
Centro de Investigación Facultad de Educación
Maestría en Educación
Bogotá, D. C.
2015
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 2
Tabla de contenido
Resumen .......................................................................................................................................... 5
Introducción ..................................................................................................................................... 6
Planteamiento del problema ......................................................................................................... 9
Justificación ............................................................................................................................... 10
Objetivos .................................................................................................................................... 12
Objetivo general ......................................................................................................................... 12
Objetivos específicos ................................................................................................................. 13
Marco teórico ................................................................................................................................. 14
Lectura crítica: acercamiento conceptual................................................................................... 14
El nivel literal ............................................................................................................................. 17
Nivel crítico ............................................................................................................................... 19
Sistemas de evaluación de lectura crítica................................................................................... 19
Naturaleza de la medida de las habilidades y otros constructos psicológicos ........................... 24
Propiedades psicométricas de un test ........................................................................................... 26
Validez ................................................................................................................................... 27
El análisis TRI ........................................................................................................................ 28
Supuestos de la TRI............................................................................................................................. 32
Modelo logístico de un parámetro modelo de Rash ............................................................... 32 La Curva Característica del Ítem ............................................................................................ 33
Metodología ................................................................................................................................... 35
Tipo de investigación ................................................................................................................. 35
Técnica de muestreo .................................................................................................................. 36
Tamaño de la muestra ................................................................................................................ 37
Técnica de recolección y análisis de información ..................................................................... 37
Resultados ...................................................................................................................................... 43
Discusión ....................................................................................................................................... 57
Conclusiones .................................................................................................................................. 63
Bibliografía .................................................................................................................................... 65
Apéndice 1. .................................................................................................................................... 67
Apéndice 2. .................................................................................................................................... 68
Apéndice 3. .................................................................................................................................... 70
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 3
Lista de figuras
Figura 1. Ejemplo de una Curva Característica del Ítem ................................................. 34
Figura 2. Resultados generales de ajuste al modelo de Rash para la prueba
de comprensión lectora y apreciación de la homogeneidad estimada para
las personas e ítems. .......................................................................................................... 44
Figura 3. Estadísticos INFIT y OUTFIT de ajuste al modelo de Rash para todos
los ítems de la prueba de comprensión lectora ................................................................. 44
Figura 4. Mapa de Ítem-Personas para la representación gráfica de la relación
entre las habilidades de los respondientes y las dificultades de los ítem.......................... 56
Figura 5. Infografía “Traumatismos causados por el tránsito”.. ..................................... 74
Figura 6. Aviso “Aprenda a querer a las personas por lo que son y no por
cómo se visten”. ................................................................................................................. 77
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 4
Lista de tablas
Tabla 1. ......................................................................................................................................... 22
Tabla 2 ........................................................................................................................................... 39
Tabla 3 ........................................................................................................................................... 45
Tabla 4 ........................................................................................................................................... 46
Tabla 5 ........................................................................................................................................... 47
Tabla 6 ........................................................................................................................................... 47
Tabla 7 ........................................................................................................................................... 48
Tabla 8 ........................................................................................................................................... 49
Tabla 9. ......................................................................................................................................... 49
Tabla 10 ......................................................................................................................................... 50
Tabla 11 ......................................................................................................................................... 51
Tabla 12 ......................................................................................................................................... 51
Tabla 13 ......................................................................................................................................... 52
Tabla 14 ......................................................................................................................................... 53
Tabla 15 ......................................................................................................................................... 54
Tabla 16. ........................................................................................................................................ 55
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 5
Resumen
La lectura crítica es primordial para el mejoramiento de la calidad de la educación; por
ello, es fundamental que sea evaluada por medio de instrumentos confiables y eficaces que
atiendan contextos particulares, para evitar la aplicación de evaluaciones descontextualizadas
o con fines diferentes de la educación.
Por medio de esta investigación se espera validar un instrumento breve y funcional
para asumir el reto de evaluar el grado de desarrollo de la lectura crítica.
Se justifica la necesidad de un sistema de evaluación para ubicar de manera explícita,
no solo el nivel de lectura crítica con respecto a un grupo sino la información individual del
desempeño, que dé cuenta de los indicadores sustentados por los niveles literal, inferencial y
crítico.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 6
Introducción
La Fundación Centro de Investigación, Docencia y Consultoría (CIDCA) es una
institución de educación superior de carácter privado con 47 años de servicio a la sociedad,
dedicada a la formación de técnicos y de tecnólogos en el sistema de ciclos propedéuticos. La
Fundación CIDCA está conformada por la facultad de Ciencias Económicas y
Administrativas, que cuenta con seis programas, dos técnicos y cuatro tecnológicos; la
facultad de Ingenierías, con diez programas, cinco técnicos y cinco tecnológicos; y la facultad
de Nuevas Tecnologías de la Información y las Telecomunicaciones (NTIC), con siete
programas, tres técnicos y cuatro tecnológicos. Ninguno de los programas académicos cuenta
con acreditación de alta calidad.
La facultad de Nuevas Tecnologías de la Información y las Telecomunicaciones
(NTIC), en sus programas de Tecnología en planeación y gestión de redes, sistemas,
telecomunicaciones y telemática, en los resultados de las pruebas Saber Pro 2012-1 ha
obtenido resultados cercanos de la media nacional; pero, su desempeño se mantiene por
debajo de los programas a nivel nacional, según el informe del Ministerio de Educación
Nacional de las pruebas Saber Pro (MEN, 2006). Si bien, este no se puede tomar como único
referente, sí es un referente adecuado para el desarrollo del proceso formativo.
En este sentido, el proceso formativo no solo se refiere al hecho de impartir una
formación en competencias generales y específicas a un campo del conocimiento profesional,
sino que implica todo un sistema de seguimiento, control y aseguramiento de la calidad.
Por ello, el Instituto Colombiano para la Evaluación de la Educación (ICFES) ha
desarrollado diversos sistemas de medición de la educación, específicamente desde la
perspectiva del aprovechamiento que los estudiantes hacen de la misma. Primero, para los
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 7
bachilleres egresados (ICFES, Sistema Nacional de Evaluación Estandarizada de la
Educación. Alineación del examen SABER 11º, 2013), y posteriormente, para la educación
superior y otros grados de bachillerato.
En 2000, dicho instrumento contaba con un sistema organizado para la medición de las
competencias académicas que consideraba al lenguaje como uno de sus componentes. Los
objetivos de medición consistían en cinco competencias de la lectura, definidas así con el
propósito de unificar esta como un proceso de formación por competencias, y articulaba dicho
proceso en el mismo sistema que la formación en otras áreas, estratificándolas en tres niveles
de desarrollo, a saber: literal, inferencial y crítico. Adicionalmente, se definieron seis
diferentes estilos de lectura (Pereira, Hernández, & Gómez, 2011).
Como puede apreciarse, la intención de esta organización es ofrecer una radiografía
detallada de la calidad en el desarrollo de competencias del lenguaje, y la manera como este
proceso se desarrolló en las instituciones de formación. Con el paso de los años se realizaron
modificaciones tendientes a mejorar el reconocimiento de un lenguaje más contextual y menos
orientado a la tipificación en el estilo de la lectura. En 2006, el examen de competencias se
encauzó hacia los estándares básicos para competencias del lenguaje, se otorgó más énfasis a
la evaluación de la competencia y del nivel, y se procedió a describir los resultados en función
del puntaje de la institución, del sujeto con respecto a la institución y de la media nacional
(MEN, 2006).
A pesar de que el instrumento evalúa desde los niveles literal, inferencial y crítico, el
informe de resultados no describía las características observables del evaluado en cuanto a
comprensión de lectura, por lo cual los resultados de la evaluación cuantitativa solo sirven
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 8
como medida de posición del sujeto en cuanto a un grupo, mas no permite establecer las
dimensiones que requieren mayor atención para propiciar mejoramiento.
En 2011, en el Examen de Calidad de la Educación Superior (ECAES) las pruebas de
lenguaje se orientaron hacia la lectura crítica. Para el caso de las pruebas escolares, la
evaluación del lenguaje se unificó con las competencias temáticas de Filosofía, dando origen a
la prueba de lectura crítica y filosofía, que se desarrolló en el examen de 2014 (ICFES, 2014).
Como se desprende de lo descrito, la orientación del examen pretende evaluar la
calidad de la formación en términos de verificación de la lectura crítica. Sin embargo, la
evaluación no ofrece al estudiante una descripción cualitativa de su desempeño, de modo tal
que pueda no solo conocer su puntuación si no que también verifique sus oportunidades de
mejoramiento para cada una de las competencias, y, adicionalmente, le permita conocer su
nivel de lectura, ya que los valores expresados son cuantitativamente descriptivos, pero no
tienen el mismo impacto en cuanto a la apreciación de los indicadores de su estilo de lectura y
el modo como estos interactúan en un sujeto para definir un alto o un bajo nivel de habilidad
que posibilite la diferenciación cualitativa entre sujetos.
Esta situación está ligada estrechamente con los bajos rendimientos académicos de los
universitarios, especialmente durante los primeros semestres (Pereira, Hernández & Gómez,
2011), donde algunos estudiantes podrían presentar dificultades para el aprovechamiento de
las temáticas desarrolladas en sus contenidos programáticos. Las dificultades mencionadas se
explican por el bajo rendimiento en tareas de comprensión lectora, y del mismo modo, frente
al desarrollo de una posición crítica frente a dichos contenidos, requerimientos ineludibles en
la profesionalización del conocimiento. El desconocimiento de las características particulares
que configuran el estilo de lectura de cada estudiante impide la personalización de la atención,
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 9
normalmente efectuada por medio de estrategias generales colectivas, o que, en algunos casos,
suele pasarse por alto.
Las pruebas Saber Pro se presentan durante el sexto semestre; por tanto, cuando los
resultados están disponibles los estudiantes ya se han graduado, lo que impide el
mejoramiento, pues los sujetos evaluados ya no se encuentran en la institución.
Ahora bien, la información ofrecida por el ICFES es de tipo cuantitativo, lo que
dificulta determinar con precisión las debilidades y las fortalezas de los estudiantes (y de la
institución) acerca de la lectura crítica. Esta situación pone en evidencia la necesidad de que
las instituciones como la Fundación CIDCA busquen estrategias diferentes para el diagnóstico
del nivel de lectura.
En este caso, es preciso desarrollar un programa de apoyo para los estudiantes
mediante la inclusión de esta temática en la estructura curricular, con el objetivo de fomentar
y de desarrollar tales habilidades por medio de un instrumento de medida inicial que evalúe de
manera confiable y permitida el nivel de lectura.
Cabe advertir que, si bien la institución está en la obligación de proveer de
herramientas de mejora académica en comprensión lectora, es también responsabilidad del
profesor desarrollar tareas que involucren tales aspectos como parte de la evaluación requerida
en la estructura curricular. Las tareas deben estar orientadas hacia la verificación de los
objetivos de aprendizaje para que por medio del diagnóstico personalizado se puedan precisar
las necesidades de mejoramiento que cada estudiante requiere en esta habilidad.
Planteamiento del problema
¿Cuáles son las características de confiabilidad y validez de un test breve que permita
la evaluación diagnóstica de la lectura crítica en los estudiantes de Tecnología en Sistemas de
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 10
la facultad de Nuevas Tecnologías de la Información y las Telecomunicaciones (NTIC) de la
Fundación Universitaria CIDCA?
¿Cómo verificar y calibrar un test breve que permita la evaluación diagnóstica de
lectura crítica en los estudiantes de Tecnología en Sistemas de la facultad de Nuevas
Tecnologías de la Información y las Telecomunicaciones (NTIC), en la Fundación
Universitaria CIDCA?
Justificación
La información es uno de los elementos fundamentales en todo proceso de evaluación,
pues no solo permite establecer lo requerido para un diagnóstico sino que guía el seguimiento
del trabajo y condiciona la intervención a las necesidades de mejora. La Fundación CIDCA no
es ajena a tal situación, por lo que la presente investigación tiene como intención la aplicación
de un instrumento de evaluación diagnóstica que responda a la orientación de un conjunto de
procesos tendientes a mejorar los resultados de lectura crítica en los estudiantes.
Aun cuando, como se ha mencionado en apartados anteriores, existen diversos
instrumentos para la medición de la lectura crítica (ICFES, 2009), el análisis de la información
no enfatiza la descripción del nivel de lectura del estudiante, de sus alcances ni de los
indicadores que evidencian su proceso de lectura. Esto es relevante, pues la perspectiva del
sistema por niveles implica un tránsito jerárquico para adquirir habilidades más elaboradas
que perfeccionan las existentes, nivel por nivel. Estas, a su vez, permiten el desarrollo de
nuevas habilidades de comprensión, superiores y más funcionales para constituir el análisis
del texto.
Por ello, la presente investigación pretende impactar esta situación, desarrollando un
diagnóstico del proceso de lectura crítica. Ahora bien, para generar la herramienta que apoyará
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 11
dicho diagnóstico debe también considerarse la optimización del proceso, aspecto que se
relaciona con los tiempos en las aulas. Si bien, para la Fundación CIDCA el fomento de la
lectura crítica es asunto de alta importancia, el tiempo de formación es corto y se limita a los
espacios curriculares; de allí que el diseño de un sistema de evaluación debe considerar un
corto lapso para su implementación.
Por ello, esta investigación es de alta relevancia, ya que pretende definir puntualmente
catorce indicadores distribuidos para acoplarse con los tres niveles, permitiendo describir su
desarrollo de manera detallada, individual y precisa. Este aspecto define la importancia del
presente ejercicio, puesto que al final de la evaluación se obtendrán no solo los puntajes
individuales sino la descripción precisa que podría mejorar el desempeño individual que
permita el tránsito a más altos niveles de lectura crítica.
Del mismo modo, este proyecto es una fuente de información específica para la
Fundación CIDCA en cuanto a las necesidades de apoyo en el desarrollo de la lectura crítica
de sus estudiantes. Le permitirá diseñar e implementar programas de intervención sobre estas
problemáticas y hacer seguimientos institucionales del resultado. Además, esta investigación
es un desarrollo importante para la educación, pues aborda el tema de la lectura crítica desde
la implementación de la medición por niveles, de la que no solo se obtiene evidencia empírica
sino que puede generar nuevas estrategias que permitan comprender la manera por la cual se
desarrolla la lectura crítica en los estudiantes de educación superior; y en general, sobre cómo
se construyen sistemas de evaluación diagnóstica de las competencias.
Estas ideas se entrecruzarán con un análisis acerca de cómo percibir una pedagogía de
la lectura crítica en la institución que le permita reformular sus prácticas, y que actuarán como
acciones potenciales creadoras de pensamiento social y colectivo.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 12
En consecuencia, si la lectura crítica es primordial para el mejoramiento de la calidad
de la educación, es necesario evaluarla por medio de instrumentos confiables y eficaces que
atiendan a los contextos regionales, con el ánimo de evitar la aplicación de evaluaciones
descontextualizadas o con fines diferentes de la educación. Por medio de esta investigación se
espera validar un instrumento breve y funcional para asumir el reto de evaluar el grado de
desarrollo de la lectura crítica.
Por todo lo anterior, se justifica la necesidad de un sistema de evaluación que haga
explícito no solo el nivel de la lectura crítica con respecto a un grupo sino la información
individual del desempeño que dé cuenta de los indicadores sustentados por niveles (literal,
inferencial y crítico).
Entonces, se hace evidente la implementación de un instrumento que responda a estas
características mediante la estrategia psicométrica de test (Cohen & Sewerlik, 2006), y que
garantice la necesaria confiabilidad y la validez en la medición de la lectura crítica para
diagnosticar el proceso en la Fundación CIDCA, información que, a la vez, sirve como
insumo adecuado para el desarrollo de los programas de mejoramiento.
Objetivos
Objetivo general
Adaptar un instrumento de evaluación diagnóstica de lectura crítica por niveles que
permita conocer el desempeño lector de los estudiantes de Tecnología en Sistemas de la
facultad de Nuevas Tecnologías de la Información y las Telecomunicaciones (NTIC), en la
Fundación Universitaria CIDCA.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 13
Objetivos específicos
Caracterizar la lectura crítica desde los niveles literales, inferencial y crítico de
comprensión lectora para la categorización del desempeño en los estudiantes de
Tecnología en Sistemas de la facultad de Nuevas Tecnologías de la Información y
las Telecomunicaciones (NTIC), en la Fundación Universitaria CIDCA.
Establecer las características de lectura esperadas para estudiantes y jerarquizarlas
en niveles de comprensión (literal, inferencial y crítico).
Determinar las condiciones de validez y de confiabilidad para una herramienta de
evaluación diagnóstica objetiva de la comprensión de lectura crítica por niveles.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 14
Marco teórico
Lectura crítica: acercamiento conceptual
La lectura es una práctica social que en el marco de la educación superior puede
contemplar diversos propósitos y que no siempre se desarrolla del mismo modo. En este
sentido, la medición del profesor es fundamental a la hora de acompañar los procesos que
propicien la lectura crítica en los estudiantes en labores de aula, de consulta e investigación.
Es también necesaria para guiar las intenciones con las cuales los estudiantes se acercan al
texto, a su análisis e interpretación crítica y para hacer del proceso una acción consciente
(Solé, 2007).
Leer críticamente es un ejercicio de reflexión y análisis imaginativo donde el lector se
pone en el lugar de otras personas y vive otras historias (Marín, 2006); por lo tanto, es la
oportunidad para que desarrolle una variedad de habilidades que van desde lo social a lo
emocional, pues a la par con el desarrollo de la historia se amplía el horizonte de comprensión
personal.
Leer de manera autónoma y crítica es una habilidad que potencia la capacidad
dialógica del ser humano, que la usa para comprender, percibir y transformar el mundo,
brindando a estos conceptos nuevos mecanismos de comunicación, con los que puede expresar
sus indagaciones y creencias, a la vez que reconoce a otros individuos. Cuando se aprende a
leer con sentido y con significado para una audiencia real, se enseña a dialogar (Josep
Ballester, 2013).
De acuerdo con Cassany “[…] la mayor comprensión consiste en conocer el
significado que personas diferentes otorgan a un mismo texto” (2005, p.44). Esto es posible,
ya que conocer es un proceso social donde los actores participan en la construcción de un
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 15
sentido común de lo que vemos, o en este caso, de lo que leemos. Comprender, no es repetir lo
que expresa el texto o el autor: es descubrir personalmente, o con otros, los múltiples
significados textuales.
Lo aquí afirmado no cae en el relativismo, ya que el texto es el mismo, así como el
mensaje que transmite el autor: varían las implicaciones, las interpretaciones y los nuevos
significados construidos más allá de lo evidente.
En la actualidad, los sujetos requieren mayores habilidades y capacidades críticas y
reflexivas (Serrano, 2008). El desarrollo de la capacidad crítica en el terreno lingüístico se
justifica en sí misma si se reconoce que, dado el gran caudal de información a la que es
posible acceder, es necesario el desarrollo de habilidades que sopesen e identifiquen la
información valiosa, la indispensable y la que puede resultar nociva para nuestro desarrollo
humano.
Para Cassany (2005) una persona crítica es aquella que posee la capacidad para evaluar
y cuestionar la información contenida en los textos, así como la de crear otros relatos por
medio de sus opiniones. El sujeto crítico toma conciencia de ese rol protagónico, pero también
de su capacidad para crear otros textos en los que su punto de vista se mezcla con los ya
conocidos; un sujeto crítico evalúa desde su criterio personal lo que dice el texto en función de
su contexto y de sus necesidades.
También es cierto que no existe una forma unívoca de leer críticamente, ya que hay un
“leer las líneas”, un “leer entre líneas” y un “leer detrás de las líneas”. Siguiendo a Cassany
(2003), la primera interpretación se refiere a la comprensión literal de las palabras; la segunda,
a la capacidad de recuperar los implícitos; y, la tercera, a la habilidad de comprender la
pretensión de un texto y la relación que tiene con un aspecto de la cotidianidad del lector.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 16
El desarrollo de la competencia lectora y de la lectura crítica en la educación superior
se orientan principalmente a estudios relacionados con la lectura en la cultura académica
universitaria (Serrano, 2008). La lectura crítica que se promueve desde el ICFES contempla la
evaluación y desarrollo de tres competencias: (1) identificar y entender los contenidos locales
que conforman un texto; (2) comprender cómo se articulan las partes de un texto para dar a
este un sentido global; y, (3) reflexionar a partir de un texto y evaluar su contenido. Estas
competencias representan, de manera general, las habilidades cognitivas necesarias para
asumir una lectura crítica (ICFES, 2014). La primera, se dirige a leer el texto; la segunda, a
“leer entre líneas” y la tercera, a una lectura intertextual, es decir, a “leer detrás de las líneas”.
Por su parte, el MEN propone tres categorías para el análisis de la comprensión lectora
a partir de niveles (“Lineamientos Curriculares, Lengua castellana”, 1998), en coherencia con
las propuestas del ICFES para evaluar a los estudiantes que ingresan a educación superior.
Estas, más que una obligación o una herramienta de evaluación, se proyectan como línea
generadora de estrategias de enseñanza que desarrollen habilidades en comprensión lectora, y
desempeñan un papel fundamental en la comprensión lingüística como el mecanismo que
ayuda a la certera comprensión lectora.
Es en este sentido que el Ministerio de Educación Nacional (MEN) y el Instituto
Colombiano para el Fomento de la Educación Superior (ICFES) han enfocado la enseñanza de
la lectura en los niveles literal, inferencial y crítico.
Así las cosas, el reto de las instituciones de educación superior consiste en desarrollar
las capacidades para examinar, comprender e interpretar la información textual y la gráfica
(textos continuos y discontinuos) en el marco del contexto curricular, introduciendo la lectura
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 17
crítica como estrategia pedagógica útil para acceder de manera más crítica al conocimiento
propio del área disciplinar.
Nivel literal
Literal tiene como raíz etimológica la palabra latina litterāli, pero desde un sentido
contextual expresa acciones para “retener la letra” en términos de la asociación del mensaje
con el significado inmediato del texto; es decir, se trata de un acercamiento al contenido
denotativo del mensaje, que permite al individuo interpretar postulaciones semióticas
(Hjemslev, 1976).
El nivel literal es considerado como la comprensión de las partes del texto que son
necesarias para organizar su significado. Aquí se resaltan dos variantes: una, la literalidad
transcriptiva, en la que se exploran las palabras y los sentidos a partir del reconocimiento de
palabras y de frases asociadas con la funcionalidad que las define, con sus correspondientes
significados, con la primera y las demás entradas léxicas que ofrece el diccionario; y otra, la
literalidad parafraseada, que permite la relación de palabras parecidas a las del texto,
garantizando la generación de procesos semánticos donde se generaliza, selecciona, omite e
integra información necesaria para la intención comunicativa.
En ambas variantes las lecturas se enmarcan en significados permanentes asociados a
las estructuras que conllevan la identificación de vocabulario básico.
Cabe observar que, implícitamente, el nivel literal adopta una concepción tradicional,
pero sin distanciarse del uso de las reglas de composición sintáctica y semántica que, de
alguna manera, contribuyen a la construcción e interpretación de significados más allá del
conocimiento del lenguaje, para aproximarse al conocimiento del mundo (Dascal, 1986).
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 18
Nivel inferencial
El concepto de inferencia que se encuentra en “Lineamientos Curriculares de Lengua
Castellana” y por el cual se rigen las instituciones educativas en Colombia, hace énfasis en el
establecimiento de relaciones y de asociaciones entre los significados que conducen a la
construcción de formas dinámicas de pensamiento inherentes a su funcionalidad, y que son
constitutivas de todo texto. Es decir, se infiere lo que no aparece en el texto al ejecutar el acto
de leer, para encontrar un sentido que aviste posibilidades para la lectura crítica (MEN, 1998).
El nivel inferencial se logra cuando el lector establece relaciones y asociaciones entre
significados. Dicho establecimiento es considerado condición básica en la lectura crítica, pues
permite a lector leer entre líneas y deducir lo implícito para explicar el texto, agregando
información a partir de experiencias anteriores. Se trata aquí de llegar a la construcción de
conclusiones, lo que presupone un alto nivel de abstracción que permite arribar a conjeturas
(Gordillo & Flórez, 2009). Ahora, la interacción construida entre el lector y el texto es a la vez
causa y efecto de la producción de inferencias relacionadas con el conjunto de saberes previos,
transformándose en una dinámica interactiva de enunciación en la que el lector conecta los
segmentos discursivos de modo local y global, una y otra vez, a partir de los implícitos
textuales.
Vista de este modo, la inferencia es un modelo poderoso por el cual las personas
complementan la información disponible utilizando el conocimiento conceptual y lingüístico y
los esquemas que poseen. Los lectores utilizan estrategias de inferencia para inferir lo que no
está explícito en el texto, pero también infieren cosas que se harán explícitas más adelante. La
inferencia es utilizada para inferir sobre el antecedente de un pronombre, sobre la relación
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 19
entre caracteres, o sobre las preferencias del autor, entre otros hallazgos (Cisneros, Olave &
Rojas, 2012).
Nivel crítico
El nivel crítico es entendido como la relación de saberes que va desde la descripción
del escrito y la identificación de puntos de vista a la emisión de juicios con argumentos sobre
lo leído. Su carácter evaluativo es punto esencial desde la formación del lector, su criterio y
conocimiento especializado (Gordillo & Flórez, 2009). A su vez, brinda la posibilidad de
obtener provecho de las conjeturas, y fortalecer una amplia red de saberes, tanto individuales
como colectivos. Es decir, es el conocimiento previo construido a partir de la experiencia
personal, que proviene de la intertextualidad que lo enriquece (MEN, 1998). Así, accedemos a
la interpretación, que va desde la decodificación semántica a la reconstrucción pragmática de
las intenciones, ejerciendo control del texto en la consistencia semiótica que reconoce su
valor.
Por otro lado, la lectura crítica invita a la disposición para poner en juego experiencias,
expectativas y alternativas frente al texto leído, considerando diferentes significados y
potenciando el pensamiento ajustándolo al modo adecuado del significado subyacente y
profundo de la información. En este sentido, el desarrollo de la capacidad lectora ha de
orientarse hacia la comprensión del contexto social y cultural, así como hacia la comprensión
del mundo (Serrano, 2008).
Sistemas de evaluación de la lectura crítica
El debate educativo integral en la evaluación de los aprendizajes en América Latina
presta cada vez más atención al problema del aprendizaje, entendiendo este como el fin último
del proceso educativo. Por ello, resulta enteramente razonable y prioridad ineludible prestar
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 20
atención a la evaluación del aprendizaje para elevar los niveles de competencias, aspecto de
especial importancia en este estudio acerca de las competencias lectoras.
El aprendizaje es lo que hace la diferencia en la educación. Por ello, el aprendizaje
para todos debe ser la meta que guie la agenda educativa, y los elementos que la componen
deben contar con la transparencia suficiente que permita apreciar su importancia. Esta es una
condición ineludible para el adecuado monitoreo de los resultados, y así lograr la elevación de
las habilidades y de las capacidades y, por tanto, el desarrollo de las competencias implícitas
en el derecho a la educación de calidad.
La evaluación educativa y los sistemas estandarizados nacionales e internacionales de
medición de resultados educativos son, quizás, el principal dispositivo de la política que
permite dar cuenta del efectivo cumplimiento del aprendizaje. Son el conducto para la toma de
decisiones mediante el monitoreo de los resultados y para proponer la mejora continua de los
factores asociados que actúan como barreras que impidan el desarrollo de las competencias
necesarias en los estudiantes, particularmente, y para este caso, de las competencias lectoras
(OCDE, 2013b).
No obstante, el campo de los sistemas de medición de resultados y de aprendizaje es
polémico. Estos sistemas tienen efectos –no siempre deseados o considerados apropiadamente
en sus diseños– que resultan inconsistentes con el derecho a la educación de todos, ya sea
porque pueden reducir en la práctica –a la dimensión cognitiva, principalmente– lo que se
entiende por aprendizaje. Además, estos sistemas tienen en ocasiones efectos excluyentes en
grupos específicos de niños y de niñas, como indígenas, niños sumidos en la pobreza urbana,
y otros grupos marginales o de afrodescendientes (Ibídem).
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 21
La literatura reciente (marco conceptual) define que los sistemas de evaluación están
compuestos de distintos elementos que se ensamblan de maneras diferentes, que tienen
presencia internacional, nacional, local e institucional, y que se utilizan para fines políticos, de
enseñanza, de aprendizaje y de gestión educativa.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 22
Tabla 1.
Cuadro comparativo de las diferentes pruebas que se aplican en América Latina.
ASPECTO LLECE PIRLS PISA
Qué evalúa
Evalúa y compara los
rendimientos
alcanzados por los
estudiantes
latinoamericanos.
Comprensión
de lectura.
Evalúa y compara lo que
los estudiantes pueden
hacer con lo que saben.
Áreas
evaluadas.
Lectura, Escritura,
Matemáticas y
Ciencias.
Lenguaje.
Lectura, Matemáticas y
Ciencias. En cada
aplicación se pone el
énfasis en una de las
áreas. Hay también
evaluaciones en otras
áreas de conocimiento
(ejemplo: prueba de
lectura electrónica, de
alfabetización financiera).
A quiénes
se evalúa.
PERCE: estudiantes de
tercero y cuarto grado.
SERCE y TERCE:
estudiantes de tercero y
sexto grado.
Estudiantes de
cuarto grado.
En 2011, los países
pueden elegir entre
quinto o sexto grado.
Estudiantes de quince
años de edad,
independientemente del
grado que estén cursando.
Cada cuánto
evalúa.
Ha realizado tres
aplicaciones: en los
años 1997, 2006, y
2013.
Cada cinco años, a
partir de 2001.
Responsable:
International
Association for the
Evaluation of
Educational
Achievement (IEA).
Cada tres años, a partir de
2000.
Responsable: OCDE.
Participantes
en el estudio
Países de América
Latina y el Caribe, así
como entidades
subnacionales de estos
países que se vinculan a
este estudio.
Países de los cinco
continentes que se
vinculan al estudio,
así como entidades
subnacionales
(provincias, estados,
distritos o ciudades).
Países miembros de la
OCDE, además de
naciones de los cinco
continentes y entidades
subnacionales (provincias,
estados) que se vinculan
como invitados a este
estudio.
Fuente: LLECE (2013).
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 23
Existen organizaciones que ese oponen a las evaluaciones PISA y a la homogenización
de las pruebas, pues se argumenta que atentan contra la emancipación de la educación y el
desarrollo del pensamiento crítico, al considerar que la evaluación es un proceso integral
orientado al aporte de elementos de análisis para mejorar los procesos de enseñanza y
aprendizaje, con la lectura como pilar fundamental para la consecución de las metas.
En la reunión del grupo de trabajo del Consejo Latinomericano de Ciencias Sociales
(CLACSO) “Políticas Educativas y Derecho a la Educación en América Latina y el Caribe”,
realizada los días 11 y 12 de agosto de 2014 en Salvador, Brasil, se cuestionaron los supuestos
que sustentan el dispositivo de evaluación, según los cuales, una buena educación es aquella
que constata la adquisición de conocimientos presuntamente universales, objetivos y
apolíticos, trasmitidos por profesores, adquiridos por estudiantes y medidos por el ministerio
de educación de cada país. También se abordó su condición de dispositivo homogéneo,
estandarizado y “único e inapelable de medición”, que opera propiciando la competencia, la
clasificación y la rotulación jerarquizada a partir de la divulgación de los puntajes. De igual
forma, se debatió la mercantilización que supone la creación de un dispositivo gerenciado
globalmente, en tanto profundiza una lógica de financiamiento educativo transnacional en
clave de lucro.
Además, fue puesta en discusión la asociación entre la aplicación de las pruebas y la
evaluación de la calidad de la educación, puesto que el concepto de calidad educativa no es
unívoco, y está inserto en una red compleja de significaciones históricas, sociales y políticas.
El grupo de trabajo cuestionó también la validez de las pruebas PISA y sus resultados para
conocer y resolver los problemas de la escuela pública en América Latina y el Caribe, y la
aparente preocupación por asegurar el derecho a la educación (CLACSO, 2014).
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 24
En el plano nacional, el ICFES ha mostrado que la evolución de sus pruebas conduce a
una valoración importante de la lectura crítica, siendo esta la competencia que garantiza que
los estudiantes puedan analizar, resolver problemas e innovar en su vida cotidiana y en su
profesión. La evolución de las pruebas desde 2000 está caracterizada en la publicación
“Alineación del examen SABER 11º”.
En general, el lugar que ocupa el desarrollo de la lectura crítica como una capacidad
analítica es cada vez más notable en la medida en que se le otorga mayor relevancia en las
Pruebas y en la formación dentro del aula.
Finalmente, es necesario añadir que el desarrollo de competencias científicas propias
de las disciplinas fundadoras de cada profesión están profundamente ligadas a la metodología
intrínseca de las ciencias, esto es, a los procedimientos mediante los cuales se profundiza en la
verificación de los saberes y en la generación de nuevo conocimiento y desarrollo tecnológico
(CLACSO 2013).
Naturaleza de la medida de las habilidades y otros constructos psicológicos
Una de las principales dificultades en la medición de habilidades características de la
personalidad, y en general, de la evaluación de variables psicológicas y de rendimiento es la
naturaleza inobservable de estas variables, denominadas en conjunto constructos. Esta
característica implica la imposibilidad de su medición mediante sistemas exactos como los
utilizados en variables como el peso, la longitud o la densidad, ya que a diferencia de estas
últimas, los constructos solo pueden representarse simbólicamente mediante indicadores
cuantitativos.
Por ejemplo, resulta imposible realizar una estimación métrica en la que se intente
determinar la „cantidad‟ de competencia lectora de una persona, teniendo en cuenta que
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 25
definir teóricamente una competencia es una descripción que delimita todas las posibles
conductas observables en un sujeto, tales como emociones, actitudes y cogniciones asociadas
a una comprensión óptima de los textos y a la habilidad para establecer razonamientos y
operaciones mentales de alto nivel con dicha información.
Ignoramos el mundo mental del sujeto evaluado porque no tenemos acceso al
mecanismo por medio del cual se organizan sus ideas. Esta situación es la causante de que
solo se pueda medir una competencia escuchando y revisando el comportamiento de la
persona que lee un texto, para luego verificar el nivel de desarrollo de su competencia en
función de los indicadores de observación.
Considerando lo anterior, todo constructo tiene tantas formas de evidenciarse como
indicadores conductuales puedan asociarse con este. A manera de ejemplo, diremos que la
competencia lectora de un sujeto solo podrá ser medida cuando efectúa la lectura de un texto y
luego emite juicios sobre el contenido.
Si existen estrategias con las cuales un sujeto puede hacer evidente el nivel de dominio
de la información que ha extraído de la lectura, es posible también obtener una estimación
completa de este constructo, entendiendo por completo las muestras de comportamientos
tomadas objetivamente mediante test. Es decir, no podemos obtener todo el nivel de
competencia del sujeto al resolver situaciones problema, sino por el modo particular como las
resuelve en forma de enunciados, por ejemplo, al marcar una opción de respuesta, reflejándose
en dicha acción la capacidad de resolver o no el problema utilizando la competencia evaluada.
Un test de evaluación de una competencia no funciona con los mismos principios de
los sistemas usados para medir la longitud o la velocidad, que arrojan valores precisos sobre la
magnitud de las propiedades en un objeto, sino que se parece a las mediciones obtenidas en un
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 26
experimento: estas siempre incluyen un grado de error experimental ocasionado por la
imposibilidad de controlar ligeras variaciones en la apreciación de las condiciones de la
muestra con respecto a las observables al obtener la información de la totalidad de los sujetos
de una población, aún bajo el control más estricto.
Las pruebas psicométricas recogen una muestra del comportamiento del sujeto en un
punto específico del espacio y tiempo, restringido a los indicadores de conducta consignados
en los ítems que conforman el instrumento de medición. Por ello, sería imposible registrar en
un momento particular del sujeto todas las posibles conductas asociadas con la competencia
en cuestión que emite en su cotidianidad, del mismo modo que sería poco probable lograr
evaluarlo a lo largo del tiempo para obtener evidencia de todos sus comportamientos.
Un test psicométrico debe optar por utilizar estrategias que permitan mejorar la
confianza en la información obtenida para considerarla como evidencia del nivel de rasgo o
constructo del individuo. Para ello, la psicometría ha desarrollado diversas estrategias que
posibilitan la medición objetiva de las variables propias en las ciencias humanas y sociales.
Propiedades psicométricas de un test
La necesidad de construir instrumentos para obtener evidencia objetiva sobre los
objetos de estudio en un campo del conocimiento es una de las tareas más trabajadas por parte
las comunidades científicas, ya que la fiabilidad de los datos se encuentra estrechamente
relacionada con el éxito de sus propuestas teóricas y la posibilidad de replicarlas como prueba
de la veracidad de los supuestos.
En el marco del campo del conocimiento de la psicología, tal tarea ha sido tomada
como objeto de estudio por la psicometría, que puede entenderse como los modelos objetivos
que permiten el conocimiento y “medida” de los constructos psicológicos (Martínez, 2006); al
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 27
respecto, la construcción de un instrumento de medición y evaluación psicológica constituye
un proceso que, en términos generales, reúne los aspectos esenciales necesarios para
garantizar el éxito del sistema de medida.
Algunos autores (Hogan, 2004; véase también Hernández y cols, 2010), argumentan
que el primer paso para la construcción de un instrumento destinado a la recolección de
información es la definición de la finalidad del instrumento, pues, conocer el planteamiento de
una meta correctamente delimitada permite proponer más adelante un plan de trabajo
adecuado que será el predictor idóneo de la validez de contenido del instrumento (Mikulic y
Muiños, 2004).
Según Hogan (2004, p.157), el paso a seguir son los “aspectos de diseño preliminares”,
allí tendrán respuesta los cuestionamientos acerca de si la aplicación será individual o masiva,
y también, se esclarecerán elementos como la duración estimada para la evaluación, lo que
determinará, entre otras propiedades, el número de ítems que se utilizarán, pero
esencialmente, se responde aquí por la profundidad en la medición.
Validez
La validez de un instrumento se refiere a la certeza que puede tenerse acerca de la
capacidad del reactivo para medir el constructo para el que fue construido. Esta propiedad
busca identificar que la medida realizada por el instrumento psicométrico esté compuesta por
unas dimensiones que representen el constructo de manera eficaz y que, adicionalmente, no se
encuentren contaminados al contener una medida de más y dirigida hacia otro constructo. Por
otro lado, conviene mencionar que, aunque relacionado, este es un concepto diferente a la
confiabilidad, ya que la existencia de validez requiere la presunción previa de confiabilidad
(Hogan, 2004).
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 28
La literatura psicométrica (Martínez, 2006; Cohen, 2006; Hogan, 2004) propone la
existencia de tres tipos de evidencia de validez, a saber: a) validez de contenido, en la que se
desarrolla la idea de que los ítems cuenten con un sustento teórico y que estos se encuentren
agrupados por dimensiones que en conjunto explican el constructo. Otra de las evidencias de
validez de contenido es la evaluación por jueces expertos, técnica mediante la cual se agrupa
la opinión de expertos en el constructo acerca de la pertinencia de los reactivos en la medida
del constructo. b) validez de criterio, donde se desarrollan comunmente comparaciones con
otras variables (otras pruebas, grupos de contraste) para determinar si el instrumento cumple
con el objetivo de medir el constructo que pretende medir. c) validez de constructo, que puede
suponerse como una medida de resumen de muchos procedimientos realizados con el
instrumento (Hogan, 2004), entre los que pueden enumerarse los coeficientes de
homogeneidad, análisis factoriales, de componentes principales y el análisis TRI.
El análisis TRI
Aun cuando la medición en ciencias humanas y sociales se da en forma imprecisa, las
diversas disciplinas cuyos objetos de estudio se relacionan con constructos han logrado
establecer garantías de precisión en el modo como miden las habilidades los test, mediante la
existencia de modelos de probabilidad para las posibles respuestas de una población a un test.
Así se desarrolla un modelo ideal de puntuaciones que debe arrojar un test para garantizar la
representación adecuada del constructo, a partir del cual pueden compararse los resultados
reales observados al aplicarlo y verificarlo.
Algunos de estos modelos están centrados en el comportamiento individualizado que
tiene cada ítem en la población, esperando que los resultados de este dependan únicamente de
la habilidad del sujeto (unidimensionalidad) al enfrentarse a diferentes dificultades en cada
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 29
uno de los ítems que permiten graduar la cantidad de habilidad requerida para resolverlo. Se
conocen como modelos de la Teoría de la Respuesta al Ítem (TRI), en la que cada uno de los
ítems funciona con información independiente de los demás ítems del test (independencia
local).
La Teoría de la Respuesta al Ítem es un campo de trabajo de la psicometría que
propone modelos de evaluación de la validez de un instrumento mediante modelos
matemáticos que conceptualmente hacen parte de los modelos de regresión multivariante, en
los cuales se asume como supuesto que entre la respuesta de una persona a un ítem de
evaluación y la habilidad existe una relación no lineal, de la cual es posible conocer el
comportamiento en términos de la probabilidad con la que un sujeto logra obtener un acierto
en el test (Cortada de Kohan, 2004).
El problema de conocer la probabilidad de un rasgo latente (como la competencia
lectora que no puede ser observada de manera directa) se ha abordado de diversas maneras a
lo largo de la historia de la medición y evaluación de las ciencias humanas y sociales
(Martínez, 1995) inicialmente a partir de modelos lineales compuestos por items que otorgan
puntajes a los sujetos en función del acierto que logran, posteriormente de manera lineal se
suman los aciertos y se obtiene un valor calculado aritméticamente como evidencia del nivel
de habilidad del sujeto evaluado.
A partir de esta puntuación, la Teoría Clásica de los Test (TCT) desde los supuestos de
la regresión lineal, se dio el desarrollo de procedimientos para precisar la proporción de la
puntuación, lo que explica la habilidad del sujeto. Parte de esta proviene de la
subrepresentación que el constructo tiene al operacionalizarlo en forma de ítems (indicadores
de medida) (Hogan, 2004). La correlación permite dicha situación, por lo que la TCT utiliza
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 30
este procedimiento estadístico para establecer una forma paralela diseñada y probada para la
medición del mismo constructo, de modo que se puede asumir la diferencia constante entre
estas dos formas paralelas como el error estandar con el cual el instrumento estima el rasgo
del evaluado, tomando la puntuación directa (puntuación total) obtenida por el sujeto como un
valor a partir del que se puede asumir que, siendo constante el error, dicho puntaje se
convierte en el error estimado para el modelo, en un intervalo preciso que contiene la
puntuación verdadera que representa el nivel real de habilidad del sujeto.
La TCT presenta limitaciones, aunque permitió el desarrollo de la medición en las
ciencias humanas y sociales, y, de hecho, sigue utilizándose sin que su uso se considere
errado. En primera medida, por tratarse de un modelo lineal, requiere del cumplimiento de
supuestos estrictos como el de homocedasticidad y normalidad de los puntajes de los sujetos
con los que se prueba la confiabilidad y la validez del instrumento. Esto implica que la
confianza sobre la precisión de los estudios del test está estrechamente relacionada con el
número de ítems con los cuales se representa el constructo; además y en función de ello, la
longitud del test implica involucrar mayor número de sujetos para garantizar que los estudios
psicométricos aporten información insesgada y de calidad (Keith, 2010).
Por otro lado, el concepto de habilidad se reconoce como de alta o de baja en función
de la magnitud numérica del puntaje como alto o bajo con respecto al promedio. En ese
sentido, y en función de la habilidad del sujeto, un ítem se consideraría como fácil si es
resuelto por la mayoría de los sujetos y difícil si lo reprueba un grupo numeroso. Es por ello
que ante un test difícil, un sujeto podría ser definido con baja habilidad, y con alta habilidad si
se enfrenta a un test fácil. De modo que la condición de ser hábil o de no serlo,
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 31
paradójicamente, no depende de la habilidad del sujeto sino del grado de dificultad del test
que presenta (Rust & Susan, 2014).
En cambio, la TRI propone una perspectiva diferente con respecto a la orientación del
análisis. Si bien, igual que la TCT, la TRI considera la existencia de un rasgo latente que se
hace evidente en el sujeto, y que para el caso de la TCT es la puntuación verdadera, para la
TRI consiste en la habilidad. Para esta última, la relación entre el valor esperado y la habilidad
no es lineal sino exponencial (Tristán, 2002), y reconoce que dicha habilidad, diferente entre
los sujetos de un mismo grupo, es responsable de que cada uno ellos interactúe de manera
diferente con cada uno de los ítem del test, y es la razón por la cual se centra en el
comportamiento de las habilidades de los sujetos en la condición de acierto en cada ítem.
Supuestos de la TRI
Unidimensionalidad: el análisis que se realiza con la TRI implica modelos
matemáticos que describen las respuestas de los participantes en función de la localización en
la probabilidad del rasgo latente. Por tal motivo, el primer paso para realizar un análisis de
esta clase es reconocer la naturaleza de dicho rasgo y establecer el número de componentes o
de variables necesario para tomar en consideración una descripción óptima. El nivel de
especificidad con que un test realiza la medición no depende solo del ajuste matemático al
modelo, sino que dicho nivel debe tenerse en la cuenta desde el mismo momento de la
conceptualización, y posteriormente en el diseño y el desarrollo de los ítems.
Al conceptualizar los ítems como pertenecientes a única dimensión del rasgo latente
que se pretende medir se reducen las fuentes de inestabilidad de la medida, ya que al tratarse
de una sola dimensión abordada por el ítem, esta se replica en la única fuente de variabilidad
conocida, producto de las diferentes habilidades que tienen los sujetos.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 32
Si bien, es difícil mantener un ítem en una dimensión como sujeto de evidencia pura,
el análisis que se realizará una vez aplicado el test intentará demostrar la manera como las
evidencias empíricas de ajuste del ítem a la curva característica ideal para estos datos es
evidencia de sensibilidad a los niveles de habilidad de los respondientes, mostrando una
probabilidad de acierto que crece únicamente como efecto de un mayor nivel de habilidad del
sujeto.
Independencia local: la información con la que se obtienen las evidencias matemáticas
de ajuste al modelo dependen del supuesto que considera al reactivo (ítem) como mínima
unidad de medida. En tal sentido, si cada ítem permite hacer evidente el nivel de habilidad del
sujeto, se requiere entonces que la respuesta que emite dependa exclusivamente de la
información presentada en el ítem. Por esto, cada ítem en la prueba debe ser independiente de
los otros que la componen. Así no debería existir ninguna relación entre las respuestas de un
evaluado en un ítem y su respuesta en otro de diferentes características.
De este modo, la competencia medida en el test se representa en el modelo de
habilidad (Cortada de Kohan, 2004), de la misma forma para todos los ítems, ya que los
factores que influyen en las respuestas dadas por el evaluado afectan por igual a todos los
ítems. Se concluye entonces que la probabilidad del tipo de respuesta a un conjunto de ítems
es igual al producto de las respuestas dadas por el sujeto en cada ítem de manera
independiente (Terrón, 2010).
Modelo logístico de un parámetro modelo de Rash
Entre todos los modelos TRI, el modelo de un parámetro es el más utilizado por ser el
más simple de todos los modelos estadísticos psicométricos. En este se considera la
probabilidad de la respuesta de un sujeto al ítem como dependiente únicamente de la
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 33
dificultad de dicho ítem y del nivel de habilidad del sujeto, en este caso, para la competencia
lectora. Este modelo propone el siguiente patrón matemático:
( ) = ( )
( )
( ) : la probabilidad de acertar el ítem si el nivel de rasgo es ( ).
( ) = nivel de habilidad del sujeto.
b: índice de dificultad del ítem.
e: base de los logaritmos neperianos 2,718; (Rust & Susan, 2014).
D: Constante (1,7 o 1).
Ecuación 1. Modelo matemático para el cálculo de la probabilidad de acierto en el modelo de
Rash.
El nivel de habilidad puede definirse en cualquier escala. Sin embargo, en la práctica y
para casi todos los sistemas de software que permiten estimar los parámetros de este modelo,
estos valores suelen estar en una escala típica con una media de cero, una varianza de uno (1)
y un rango de valores entre -3,0 y 3,0 (Tristán, 2002). El índice de dificultad del modelo es
aquel valor de habilidad para el cual la probabilidad de acierto es igual a 0,5. Por tanto, entre
mayor sea el nivel de dificultad del ítem menor es la probabilidad que tiene un sujeto para
acertar al ítem.
La Curva Característica del Ítem
Herramienta que permite representar de manera gráfica las diferentes habilidades de
los evaluados registradas por el ítem en términos de la probabilidad con la que un sujeto
lograría resolver el ítem obteniendo la puntuación del mismo en función de su habilidad.
Para cada nivel de conocimiento (dependiendo del tipo de constructo que se pretende
medir, en cuanto a aptitud, habilidad o competencia) existe una probabilidad asociada. Esta
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 34
probabilidad será mínima para los sujetos con bajo nivel de rasgo y aumentará
exponencialmente conforme el ítem es resuelto con mayor nivel de habilidad. En la curva
pueden reconocerse dos áreas: en la primera, se relacionan las habilidades medias con la
dificultad media percibida por los sujetos; es decir, aquellos niveles de habilidad más típicos
entre los sujetos y la dificultad media de los ítems; la segunda, corresponde a la región en que
la habilidad requerida para resolver el ítem es distante con respecto a la habilidad que tienen
los sujetos. La curva característica del ítem adoptará forma sigmoide, como puede apreciarse
en la ilustración 1.
Figura 1. Ejemplo de una Curva Característica del Ítem.
Tomada de Terrón, 2010. Introducción al análisis de la teoría de Respuesta al Ítem, p.2.
Igual que la TCT, la TRI tiene también unos supuestos para que un test se ajuste al
patrón que se efectúa con este modelo estadístico-psicométrico y que desarrollamos a
continuación.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 35
Metodología
Tipo de investigación
De acuerdo con las intenciones planteadas como hoja de ruta del Proyecto,
representaremos la lectura crítica de los estudiantes participantes del estudio en la facultad de
Nuevas Tecnologías de la Información y las Telecomunicaciones (NTIC) en la Fundación
Universitaria CIDCA mediante indicadores numéricos que aprovechan las propiedades de
dicho indicador para representar la variable en estudio.
En tal sentido, y en consideración con la mayoría de los textos básicos de
investigación, estas condiciones definen que el presente proyecto de investigación se
catalogue como un procedimiento de Investigación Cuantitativa (Hernández de Sampieri,
2011).
En cuanto al alcance de esta investigación, conviene mencionar que, en todo caso,
tanto el objetivo general como los objetivos específicos se enfocan en obtener información
que permita dar cuenta de las características del sistema de evaluación en cuanto a sus
propiedades de confiabilidad y validez; y de los estudiantes en términos de sus capacidades de
lectura crítica por niveles, por lo que puede asegurarse que esta investigación cumple con las
condiciones propias de una investigación de corte descriptivo (Hernández, Fernández, &
Baptista, 2010).
Finalmente, en esta investigación no existe manipulación deliberada de variables
independientes para conocer sus efectos sobre variables dependientes, por lo que esta
indagación cuenta con las características de un diseño de investigación no experimental
(Muñoz y Muñoz, 2001), y que, adicionalmente, es de carácter transversal, ya que a la muestra
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 36
seleccionada no se hará seguimiento estricto a lo largo del tiempo, sino que se tomarán las
mediciones en un único momento.
Esta investigación es de naturaleza psicométrica, en la que se describen las
propiedades de confiabilidad y de validez de un test mediante el uso de los procedimientos
propios del análisis TRI con el modelo de Rash (González, 2008). Se realizó en una muestra
de sujetos de la institución CIDCA (cuya descripción se ampliará a continuación), que
participaron en la investigación durante el periodo académico 2014-2 resolviendo el test en
sus aulas de clase de acuerdo con la programación dispuesta por la dirección de Programa y la
Facultad.
Técnica de muestreo
En cuanto a la técnica de selección de la muestra, es importante mencionar que no se
cuenta con información previa sobre la población que permita reconocer el comportamiento
de la variable en términos de ajuste a la normalidad, o siquiera de su varianza. Esto
imposibilita determinar la probabilidad que en tal sentido tiene cada uno de los elementos de
la población de ser incluido en la muestra.
El plan de muestreo tiene las características propias de un muestreo no probabilístico
(Martínez Bencardino, 2006). Por consiguiente, se consideró como marco poblacional a los
estudiantes del programa de Tecnología en Sistemas, de primero a sexto semestre de la
facultad de Nuevas Tecnologías de la Información y las Telecomunicaciones (NTIC) de la
Fundación Universitaria CIDCA.
Con esta población total se definió una técnica de selección aleatoria por conveniencia,
ya que se consideró como participantes a los sujetos que ingresaron a cada aula de clase de
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 37
manera libre durante el espacio definido por la dirección del Programa, sin conocer de manera
precisa la identificación del sujeto que sería incluido en la muestra.
Tamaño de la muestra
Ciento veinte estudiantes; esta población universo se dividió en seis semestres, de los
cuales solo 54 aceptaron la aplicación de la prueba. Fueron seleccionados mediante la técnica
de muestreo conglomerado, equivalente a 45%. Para tales efectos, se contó con el
consentimiento informado institucional avalado por el rector.
Técnica de recolección y análisis de información
Fase 1. Revisión teórica y conceptualización del sistema de medida: se procedió a
revisar el concepto de lectura crítica desde la perspectiva internacional, las Pruebas PISA y
autores como Cassany, entre otros. Se consultaron las Pruebas Saber 11º y Saber Pro, del
ICFES; “Lineamientos Curriculares en Lengua Castellana” y autores como Adriana Gordillo y
María del Pilar Flórez, con el ánimo de establecer los niveles pertinentes para el desarrollo de
un modelo de evaluación diagnóstica.
Posteriormente, se desarrolló una guía de especificaciones o plan de prueba en que se
plasmaron las consideraciones más importantes acerca de la evaluación de la lectura crítica en
función de los indicadores, y que permitiera una evaluación objetiva de los participantes y
garantizara que dicha información cuenta con las adecuadas características de validez de
contenido.
De acuerdo con los postulados teóricos que soportan la concepción de lectura crítica,
se consolidan algunos indicadores de desempeño para señalar un horizonte que muestre el
ideal como punto de partida para generar el diagnóstico de evaluación.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 38
Las características observables en el nivel literal están orientadas hacia el
establecimiento de la secuencia de las acciones y de las órdenes, a identificar el vocabulario
básico que permita organizar y reconocer la idea central y las subsiguientes de un párrafo en
condición de paráfrasis o no.
Otra de las características de la lectura en este nivel es la integración de datos
concretos para facilitar la asociación de ideas.
El nivel inferencial se caracteriza por la comprensión basada en las acciones a partir de
la comparación de datos, y la búsqueda de significados en el texto para la comprensión de los
títulos y subtítulos del mismo. También se espera que se descubran analogías y contrastes
entre las partes del texto para facilitar el proceso comprensivo.
En los casos en que se realiza la lectura de imágenes, una comprensión inferencial de
la información implica el establecimiento de contrastes entre la imagen y el texto para sugerir
información que relacione estas partes y que permitan interpretar las categorías no incluidas
directamente en el texto.
En el nivel crítico se recupera información implícita a través de la intertextualidad,
buscando comprender el propósito del texto y valorando las acciones que se relacionan con la
situación. Este tipo de comprensión se caracteriza por que el lector asume posturas frente al
tema de acuerdo con la intención del texto, reflexionando acerca de los efectos significativos
en función de su propia postura y evaluación de la concordancia de la información adquirida
con otra de previo conocimiento del lector (Serrano, 2008).
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 39
A continuación, se muestra lo expuesto anteriormente.
Tabla 2.
Indicadores de desempeño.
NIVELES LITERAL INFERENCIAL CRÍTICO
INTENCIONALIDAD
DE LA PREGUNTA
Determina la
secuencia de las
acciones y órdenes.
Identifica
vocabulario básico
para organizar una
idea.
Reconoce la idea
central y las
subsiguientes en
un párrafo.
Localiza la idea
principal en
condición de
paráfrasis.
Integra datos
concretos que
facilitan la
asociación de
ideas.
Compara información
de datos para inferir
acciones.
Rastrea significados en
el texto para relacionar
con un título.
Establece analogías y
contrastes a partir de la
integración de sus
partes.
Identifica causa-efecto
de las situaciones.
Realiza contrastes
entre la imagen y el
texto para sugerir
información que pudo
haberse incluido.
Interpreta categorías
no incluidas
directamente en el
texto.
Recupera
información
implícita a través de
la intertextualidad.
Comprende el
propósito del texto
valorando acciones
circunscritas a la
situación.
Asume posturas
frente al tema de
acuerdo con la
intención del texto.
Reflexiona acerca de
los efectos
significativos
(pertinente-esencial
para la vida) que
sugiere el texto
(paralingüístico).
Fase 2. Desarrollo del instrumento: se optó por una evaluación con catorce preguntas
calibradas por grados de habilidad para la lectura crítica, donde se puede reconocer el
desempeño en la comprensión de lectura producto de la abstracción que hace el estudiante a
partir de los textos.
Las preguntas se establecieron eligiendo una estrategia de selección de la respuesta en
la que se presentan los postulados en el formato Selección Múltiple con Única Respuesta
(SMUR), ya que esta clase de pregunta ha demostrado ser útil en el reconocimiento de la
lectura crítica, y es utilizado en otros sistemas de evaluación de estas características.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 40
Una vez construido el instrumento se procedió a estimar su validez de contenido
mediante la evaluación de los ítems por medio de jueces (Cohen & Sewerlik, 2006). Con ello
se pretende mejorar y eliminar las preguntas que no representan de manera adecuada los
indicadores que se desea medir.
Posteriormente, se procedió a aplicar el instrumento; con la información que arrojó se
desarrollaron cálculos para la consistencia interna, mediante la revisión de la discriminación
de cada una de las preguntas en función del nivel al que pertenecen. Del mismo modo, se
examinó la consistencia interna del instrumento, eliminando los ítems con baja discriminación
entre sujetos con y sin lectura crítica.
Fase 3: Obtención de niveles de medida: se realizó una caracterización del desempeño
de los evaluados en la prueba, lo que permitió establecer grupos de puntuaciones posibles para
cada uno de los niveles (literal, inferencial y crítico).
Fase 4: Plan de análisis de información: los resultados obtenidos fueron procesados
como datos para el análisis dicotómico de Rash, que permite la estimación de los parámetros
para las personas y los ítems de la misma prueba y una representación simultánea en esa
dimensión (competencia lectora) (Tristán, 2002). Este tipo de análisis se efectúa considerando
una unidad única definida para el modelo de Rash denominado Logit (Log-odd; Tristán,
2002), que permite la estimación de la probabilidad y establece el ajuste que tiene la
distribución de los niveles de habilidad registrados en el ítem con respecto a la Curva
Característica del Ítem que se ha definido en el modelo.
El comportamiento del ítem se puede estimar mediante estadísticos basados en los
residuos (es decir, la diferencia entre el modelo esperado y el observado en los datos). Este
procedimiento se realiza mediante la media no ponderada de los residuos estandarizados al
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 41
cuadrado, que se define como ajuste lejano (OUTFIT), o la relación entre la habilidad y la
dificultad del ítem cuando los sujetos se encuentran en niveles de habilidad lejana a la
requerida por la dificultad del ítem (Linacre, 2003) y la media de estos residuos ponderados
con la varianza del conjunto de datos o ajuste cercano (INFIT), que considera la relación entre
los dos parámetros en un grado de habilidad cercana a la dificultad requerida por el ítem.
El ajuste perfecto entre los datos y el modelo es de 1,0: los valores muy inferiores, por
debajo de 0,8 (Linacre, 2006) indican dependencia de los datos. Es decir, en la medida en que
el test aumenta su consistencia interna la correlación con un criterio se hace menor.
Esta circunstancia indica que la consistencia interna hace que el test se convierta en
específico para un conjunto de rasgos, y que al medir la misma habilidad con otro test, se
encuentre que los dos test no miden la misma habilidad (Linacre, 2006). Los valores
superiores a 1,3 indican que el ruido es mayor que la información útil, es decir, que existen
fuentes distintas de la dimensión que se pretende medir.
Otro coeficiente utilizado para el tratamiento de la información fue la correlación
biserial puntual (González, 2008). Mediante este procedimiento se logra obtener una medida
de la asociación existente entre una variable de carácter dicotómico (el puntaje que cada sujeto
obtiene en el ítem definido: un (1) punto para los sujetos que aciertan, y cero (0) para los que
no logran resolver correctamente el ítem) con una variable de tipo continuo (los puntajes
directos obtenidos como la suma de los aciertos en todo el test). Este procedimiento permite
establecer si un ítem es sensible a la discriminación entre los sujetos que tienen la habilidad
medida por el test de aquellos que no la tienen, ya que una correlación de alta magnitud
implica que lograr un ítem acertado depende de la habilidad total. De manera sistemática,
aquellos sujetos con alto puntaje total tendrán alta probabilidad de logar un (1) punto en el
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 42
ítem, mientras que los sujetos con bajas puntuaciones totales en el test tienden a obtener
puntajes de cero (0).
Se considera como bajo un coeficiente de correlación biserial puntual inferior a 0,20,
lo que indica una relación débil entre la habilidad total del sujeto y el rasgo medido por el
ítem. Un coeficiente menor o igual a 0,39 indica que el ítem discrimina de manera parcial e
inadecuada y que debe revisarse su suficiencia; es decir, debe analizarse la información que
ofrece el mismo para mejorar su ajuste. Un coeficiente superior a 0,40 es un indicador de
adecuado ajuste y suele relacionarse con un ítem que no requiere ninguna modificación o
ajuste en su estructura para mensurar satisfactoriamente la habilidad que pretende medir el test
(Rust & Susan, 2014).
Finalmente, se consideró el mapa de ítem-personas para verificar la relación gráfica
entre los dos parámetros, lo que permite establecer una apreciación de los diferentes niveles de
dificultad estimados en la prueba y los diferentes grados de habilidad que pueden ser medidos
por el test.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 43
Resultados
Se obtuvieron después de una revisión teórica a partir de cien preguntas debidamente
filtradas para que cumplieran con los criterios de selección establecidos en la lista de
exploración de los ítems para dar cuenta de los niveles de desempeño en la lectura crítica.
De allí se decantaron 24 preguntas que fueron sometidas a revisión por jueces, con
empleo de la lista de exploración para determinar un instrumento breve compuesto por catorce
preguntas.
Para iniciar con el análisis psicométrico se estimaron los parámetros del modelo de
Rash para los datos totales de la prueba, estimando la homogeneidad de los puntajes de ítem y
de las personas con respecto de la homogeneidad de la prueba, tal y como se aprecia en la
Tabla 1. Para el caso de los ítems se registra un coeficiente Reliability que indica una
adecuada consistencia interna de acuerdo con los valores de referencia (Cohen & Sewerlik,
2006); es decir, que de modo aceptable, todos los ítems se encuentran encaminados a medir de
manera homogénea el mismo constructo.
También se aprecia que los valores MSNQ para el caso de los ítems muestran tanto
para el INFIT como para el OUTFIT un ajuste perfecto (1,00) y una desviación estándar
(ZSTD) de 0,0.
Para el caso de los individuos, se registran niveles de habilidades heterogéneas
agrupadas acorde con su desempeño, por lo que puede suponerse que cada grupo de personas
requiere de grupos de ítems independientes; es decir, que se requieren diferentes niveles de
habilidad.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 44
Figura 2. Resultados generales de ajuste al modelo de Rash para la prueba de comprensión
lectora y apreciación de la homogeneidad estimada para las personas e ítems.
El ajuste al modelo de Rash de cada uno de los ítems considerado mediante los
coeficientes INFIT y OUTFIT y los resultados obtenidos para todos los ítems se aprecian en la
figura 3.
Figura 3. Estadísticos INFIT y OUTFIT de ajuste al modelo de Rash para todos los ítems de
la prueba de comprensión lectora.
Para el caso del ítem uno, se puede apreciar que presenta un ajuste adecuado y que
cuenta con discriminación aceptable, tanto en niveles medios (INFIT), como Extremos
(OUTFIT), de comprensión lectura. El análisis del coeficiente de correlación biserial puntual
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 45
(PTMEASURE-A “Corr.” en la figura 2, Rpbis en adelante) indica que este ítem requiere de
algunos ajustes, que podrían referirse a la función de las opciones de respuesta, ya que como
se aprecia en la tabla 3, la opción de respuesta “A” resulta atractiva para más de 50 % de los
evaluados. Como esta es la clave de la respuesta, este ítem tiene dificultad media. Existe, sin
embargo, la opción de respuesta “D”, que es tan evidente como incorrecta, y no cumple con su
función como distractor.
Tabla 1.
Análisis de alternativas para el ítem uno obtenidas de acuerdo con la preferencia de elección
de las opciones de respuesta.
Opción de respuesta % elección
A 56%
B 17%
C 22%
D 6%
Para el caso del ítem dos, los resultados que se aprecian en la Tabla 2 muestran que
este ítem presenta dependencia, es decir, que mide una condición inherente al grupo de sujetos
y que solo influye en la respuesta de este ítem, mas no necesariamente en los demás, lo que
indica que en particular los sujetos que logran resolver el ítem no necesariamente usan la
misma habilidad empleada por ellos en otros ítems (comprensión lectora) para resolverlo.
Esta situación puede interpretarse como que los sujetos que logran acertar en el ítem
no son sistemáticamente los mismos que aciertan en otros ítems que miden la misma
habilidad, por lo que puede asegurarse que la medición que realiza este ítem se encuentra
desajustada con respecto a la habilidad de los sujetos. Esto vale tanto para el caso de niveles
cercanos como extremos de habilidad.
Esta circunstancia es coherente con el funcionamiento de las alternativas, ya que como
se aprecia en la Tabla 4, la mayor parte de los sujetos logran resolver el ítem, pues se
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 46
muestran atraídos por la clave de respuesta “A”. De acuerdo con esta información y con la
baja atracción que representan los distractores, este ítem resulta muy fácil y debe ajustarse por
tal motivo.
Tabla 2.
Análisis de alternativas para el caso del ítem dos obtenidas de acuerdo con la preferencia de
elección de las opciones de respuesta por parte del grupo de evaluados
Opción de respuesta % elección
A 57%
B 13%
C 22%
D 4%
Para el caso del ítem tres, los resultados de la Tabla 2 muestran que presenta un
adecuado ajuste al modelo de Rash, ya que los valores estimados tanto para los estadísticos
INFIT y OUTFIT se encuentran dentro de los valores esperados (tal como se describió en el
apartado metodológico) (Linacre, 2003) se considera este ítem como calibrado para la
habilidad de los sujetos.
Por su parte, el coeficiente rpbis muestra que el ítem es adecuado, ya que las
respuestas son coherentes con el puntaje total obtenido. Sin embargo, deben ajustarse las
alternativas de respuesta, ya que puede apreciarse que este ítem es fácil para la mayoría de los
sujetos que encuentran la clave de respuesta “A”, y que los distractores presentan una
persuasión similar, por lo que puede suponerse que todos permiten la diferenciación entre los
que tienen el nivel de habilidad y aquellos que no lo tienen.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 47
Tabla 3.
Análisis de alternativas para el caso del ítem tres obtenidas de acuerdo con la preferencia de
elección de las opciones de respuesta por parte del grupo de evaluados.
Opción de respuesta % elección
A 61%
B 15%
C 11%
D 13%
Para el ítem cuatro, los resultados de los coeficientes INFIT y OUTFIT muestran que
se encuentra calibrado para el nivel de habilidad con el que cuentan los sujetos. Sin embargo,
la información correspondiente a la discriminación (rpbis) muestra que el ítem debe ser
revisado. Para tal fin, es necesario realizar un análisis de alternativas que muestre en primera
medida que el ítem resulta muy fácil para la mayoría de sujetos y que los distractores no
cumplen una función homogénea para el caso de la opción de respuesta “A”, que resulta muy
evidente como distractor y que hace que el ítem no cuente con la estructura necesaria para
favorecer la unidimensionalidad.
Tabla 4.
Análisis de alternativas para el caso del ítem cuatro obtenidas de acuerdo con la preferencia
de elección de las opciones de respuesta por parte del grupo de evaluados.
Opción de respuesta % elección
A 4%
B 13%
C 19%
D 65%
En el caso del ítem cinco, ocurre una situación similar a casos anteriores, en la que
puede apreciarse un adecuado ajuste al modelo de probabilidad de Rash, que indicaría que la
puntuación obtenida por el sujeto depende estrechamente de la habilidad de este. El índice de
discriminación muestra que deben hacerse ajustes en el ítem y la revisión de la frecuencia de
las preferencias en la elección de cada una de las opciones de respuesta (Tabla 7), muestra que
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 48
este ítem resulta muy fácil con respecto al nivel de habilidad media de los sujetos, y que los
distractores no cumplen con una función adecuada y homogénea. La opción de respuesta “A”
no cumple con su función, pues resulta muy evidente y puede ser la causa de la elección de la
clave de respuesta “D”, situación que afecta la unidimensionalidad.
Tabla 5.
Análisis de alternativas para el caso del ítem cinco obtenidas de acuerdo con la preferencia
de elección de las opciones de respuesta por parte del grupo de evaluados.
Opción de respuesta % elección
A 4%
B 17%
C 11%
D 69%
El ítem seis no está calibrado para el nivel de habilidad de los sujetos, tal y como se
aprecia en la Tabla 2. Cuando el ítem es resuelto por sujetos con niveles de habilidad lejanos a
la media de habilidad estimada para la muestra, la situación indica que las razones por las
cuales un sujeto logra acertar en el ítem no se explican por la comprensión lectora cuando hay
niveles extremos de habilidad en el sujeto. Esta situación hace que el ítem aporte poca
información a la estimación del rasgo medido con el total de la prueba.
Por esta razón, el ítem debe ser eliminado, ya que no aporta información sobre la
habilidad del sujeto. Es probable que los resultados que se aprecian en la Tabla 8 sean
producto de una respuesta aleatoria por parte de los participantes.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 49
Tabla 6.
Análisis de alternativas para el caso del ítem seis obtenidas de acuerdo con la preferencia de
elección de las opciones de respuesta por parte del grupo de evaluados.
Opción de respuesta % elección
A 17%
B 17%
C 39%
D 26%
El funcionamiento del ítem siete presenta un ajuste adecuado al modelo de Rash, por
lo que puede suponerse que logra establecer una adecuada discriminación entre los sujetos con
el nivel de habilidad requerida para resolver el ítem de aquellos que no la tienen.
Una apreciación de la tendencia en la elección de cada una de las opciones de
respuesta que se aprecian en la Tabla 9 muestran que la clave de respuesta “B” es atractiva, al
tiempo que los distractores no cumplen con su función, y pueden incluso favorecer el hallazgo
de la clave de respuesta. Este hecho muestra que deben ajustarse los distractores del ítem, con
el ánimo de mejorar la unidimensionalidad del mismo.
Tabla 7.
Análisis de alternativas para el caso del ítem siete obtenidas de acuerdo con la preferencia de
elección de las opciones de respuesta por parte del grupo de evaluados.
El ítem ocho presenta el mejor ajuste de todo el test, ya que como puede apreciarse en
la Tabla 2, no solo los estadísticos INFIT y OUTFIT presentan un ajuste adecuado, sino que
también el índice de discriminación estimado mediante la correlación biserial puntual
(PT_MEASURE-A) se ajusta a los parámetros críticos para dichos valores (Linacre, 2003).
Opción de respuesta % elección
A 19%
B 65%
C 4%
D 13%
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 50
Esta situación muestra que la puntuación obtenida por un sujeto en este ítem depende
estrechamente de la habilidad del respondiente. Sin embargo, el análisis de alternativas
muestra que el ítem puede ser mejorado, ya que como puede apreciarse en la Tabla 10, el ítem
se encuentra funcionando como si solo tuviera tres opciones de respuesta.
La opción de respuesta “C” es la más atractiva. Sin embargo, las otras opciones de
respuesta “A” y “B” son atractivas entre los sujetos que no cuentan con el nivel de habilidad
requerido para resolver el ítem; para ajustarlo se requiere mejorar la información que brinda el
distractor “D”, que en este momento no tiene rol definido.
Tabla 8.
Análisis de alternativas para el caso del ítem ocho obtenidas de acuerdo con la preferencia de
elección de las opciones de respuesta por parte del grupo de evaluados.
Opción de respuesta % elección
A 37%
B 22%
C 41%
D 0%
Para el funcionamiento del ítem nueve se realizaron procedimientos idénticos a los
descritos hasta este punto para el resto del test. Se determinó que en cuanto al ajuste al modelo
el ítem tiende a estar calibrado de manera adecuada para medir el grado de habilidad de los
sujetos evaluados (INFIT-OUTFIT, Tabla 2). El coeficiente de correlación biserial puntual
muestra que el ítem debe ser ajustado para mejorar la unidimensionalidad. La información de
la Tabla 11 muestra como este ajuste debe hacerse sobre la opción de respuesta. La opción
“C” resulta ser la más atractiva de todas las opciones de respuesta, al tiempo que la clave “B”
resulta demasiado evidente como distractor y puede ayudar al sujeto a encontrar la clave de
respuesta.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 51
Tabla 9.
Análisis de alternativas para el caso del ítem nueve obtenidas de acuerdo con la preferencia
de elección de las opciones de respuesta por parte del grupo de evaluados.
Opción de respuesta % elección
A 52%
B 6%
C 30%
D 13%
Para el caso del ítem diez se presentan algunas dificultades en la estimación del rasgo,
específicamente para los casos en los que un sujeto evaluado cuenta con nivel de habilidad
distante del requerido para resolver el ítem. Puede apreciarse que para este ítem se produce un
efecto de paradoja, situación que implica que el ítem tienda a medir exclusivamente una
dimensión entre los sujetos, y que la dimensión medida es diferente de la comprensión lectora.
Esta situación implica que el ítem debe ser calibrado para mejorar su funcionamiento,
aun cuando su discriminación es aceptable para niveles medios de habilidad. Para tal fin, una
revisión de las preferencias por las alternativas muestran que los participantes encuentran muy
difícil este ítem, ya que la mayor parte de los sujetos pasa por alto la clave de respuesta “D” y
se ven atraídos por la información que ofrece la opción de respuesta “C” muy por encima de la
frecuencia que se observa en los otros dos distractores. Los resultados que apoyan estos
comentarios pueden apreciase en la Tabla 12.
Tabla 10.
Análisis de alternativas para el caso del ítem diez obtenido de acuerdo con la preferencia de
elección de las opciones de respuesta por parte del grupo de evaluados.
Opción de respuesta % elección
A 24%
B 19%
C 44%
D 11%
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 52
En cuanto al ítem once, se ajusta al modelo de Rash, de acuerdo con la información
que se presentó en la Tabla 2. Esta circunstancia indica que se encuentra dentro del rango de
logitos definido que indica adecuada calibración del ítem al modelo de Rash (Linacre, 2003).
El índice de discriminación, que también se presenta en la Tabla 2, indica que el ítem debe ser
ajustado, pero en grado mínimo, ya que su discriminación tiende a ser aceptable.
Se aprecia que en cuanto a la preferencia por las alternativas del ítem (Tabla
13) la clave de respuesta “D” resulta atractiva para los sujetos que cuentan con nivel medio-
alto de habilidad, ya que el ítem presenta dificultad media.
Por otro lado, deben ajustarse los distractores “A” y “B”, ya que el primero resulta
muy evidente como distractor y no es obviado por la mayoría de los participantes. Del mismo
modo, se requieren ajustes sobre la opción de respuesta “B”, que es muy atractiva y resulta
seleccionada por la mayoría de los participantes como opción de respuesta correcta.
Intervenir de este modo estas dos opciones de respuesta mejorará considerablemente la
discriminación del ítem, y por tanto, mantendrá los supuestos de unidimensionalidad e
independencia local que debe poseer el ítem.
Tabla 11.
Análisis de alternativas para el caso del ítem once obtenidas de acuerdo con la preferencia de
elección de las opciones de respuesta por parte del grupo de evaluados.
Opción de respuesta % elección
A 9%
B 54%
C 15%
D 19%
El ítem doce mostró también un adecuado ajuste cercano y lejano (INFIT, OUTFIT)
de acuerdo con los resultados que se presentaron en la Tabla 2 sobre el análisis del ajuste al
modelo de Rash de un parámetro. Puede observarse también que el ítem debe ser ajustado, ya
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 53
que tiende a presentar problemas con la discriminación entre los participantes del estudio de la
competencia compresión lectora.
La revisión de las alternativas de respuesta muestran que este ítem es difícil para los
participantes, ya que la más baja frecuencia de respuesta se registra para la clave de respuesta
“D”, al mismo tiempo el distractor “A” muestra una información que es atractiva para la
mayoría de los participantes, que se deciden por esta opción al dar su respuesta.
Se debe ajustar todas las opciones de respuesta, de modo tal que se presenten los
mismos niveles de información en todas las opciones y que sea el grado de habilidad del
sujeto el medio de desarrollo de las respuestas que ofrece el sujeto. Los resultados que apoyan
estos comentarios se pueden apreciar en la Tabla 14.
Tabla 12.
Análisis de alternativas para el caso del ítem doce obtenidas de acuerdo con la preferencia de
elección de las opciones de respuesta por parte del grupo de evaluados.
Opción de respuesta % elección
A 44%
B 31%
C 13%
D 11%
El ítem trece se encuentra ajustado tanto para los niveles medios como extremos de
habilidad de los participantes en el estudio (ver Tabla 2). Sin embargo, es evidente que la
discriminación del ítem puede mejorar gracias a una intervención sobre la información que
brinda este. Por ejemplo, el análisis de alternativas muestra en las opciones de respuesta que
este ítem resulta difícil para los sujetos evaluados, que eligen la clave de respuesta “D” con
baja frecuencia. La razón de tal elección puede estar en los distractores, ya que como puede
apreciarse en la Tabla 15, la opción de respuesta “B” es muy evidente como distractor, y es
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 54
descartada por la mayoría de los participantes. Deben realizarse estos ajustes en el ítem para
mejorar la discriminación.
Tabla 15.
Análisis de alternativas para el caso del ítem trece obtenidas de acuerdo con la preferencia
de elección de las opciones de respuesta por parte del grupo de evaluados.
Opción de respuesta % elección
A 13%
B 7%
C 63%
D 17%
Finalmente, para el caso del ítem catorce, los resultados de los estadísticos de ajuste al
modelo de Rash (ver Tabla 2) muestran que se encuentra adecuadamente calibrado, tanto para
los niveles medios como para los niveles extremos de habilidad estimados entre los sujetos
que participan en el estudio.
El índice de discriminación muestra que el ítem realmente asigna los puntajes a los
sujetos en función del grado de habilidad con la que cuenta cada uno de ellos. Sin embargo,
puede ser mejorado si se ajusta la opción de respuesta “C”, la cual, como puede apreciarse en
la Tabla 15, es una respuesta de preferencia baja, lo que indica que este distractor es muy
evidente y puede facilitar el hallazgo de la clave de respuesta.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 55
Tabla 16.
Análisis de alternativas para el caso del ítem catorce obtenidas de acuerdo con la preferencia
de elección de las opciones de respuesta por parte del grupo de evaluados.
Opción de respuesta % elección
A 19%
B 30%
C 6%
D 44%
Por otra parte, mencionaremos que el mapa de Ítem-Personas (Linacre, 2006), es un
componente utilizado para representar los comentarios sobre el ajuste del test al modelo de
Rash; en este puede apreciarse la distribución de los ítems en los diversos niveles de habilidad
hallados en los respondientes del test.
En general, la información que se aprecia en la Figura 4 confirma los resultados
obtenidos por los participantes y descritos hasta este punto, y muestran una distribución
normal de los puntajes obtenidos por los participantes y correspondencia de estas habilidades
con los ítems y con los diversos niveles de dificultad que posibilitan la estimación de las
habilidades en los sujetos.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 56
Figura 4. Mapa de Ítem-Personas para la representación gráfica de la relación entre las
habilidades de los respondientes y las dificultades de los ítem.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 57
Discusión
Es relevante destacar que los resultados, en general, se ajustan al modelo en el sentido
que los indicadores INFIT y OUTFIT se encuentran dentro de los intervalos 0,8-1,3, definidos
por Linacre (2003) para situaciones como esta. Sin embargo, es evidente que dichos resultados
son contradictorios al efectuar el análisis ítem por ítem, debido al desajuste apreciado en
algunos de estos. Los resultados son típicos para muestras pequeñas (González, 2008),
situación que se presenta en este estudio.
Los catorce ítems que componen la prueba fueron sometidos al modelo de Rash, y se
organizaron en tres grupos: ítems con adecuado ajuste, ítems que deben ser ajustados e ítems
que deben ser eliminados.
Los ítems tres y ocho presentan ajuste adecuado.
En el ítem tres, los resultados sugieren que debe mantenerse sin cambios, pues
responde bien a la intención del nivel literal, que busca que el respondiente localice la idea
principal en condición de paráfrasis.
El contexto expone el tema de la personalidad y la conservación en un punto de
equilibrio de la conducta. La respuesta correcta se ubica en la línea 2, 6 y 7, presentando el
enunciado de la pregunta y la opción de respuesta correcta por medio de la identificación de
palabras claves en el texto.
Por su parte, el ítem ocho es el que presenta el mejor ajuste. No obstante, se sugiere
revisar la opción de respuesta “D”, puesto que ningún estudiante optó por esta.
El ítem responde a la intención de nivel inferencial, donde se requiere que el estudiante
compare la información de los datos para deducir las acciones. El contexto de la infografía
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 58
permite identificar claramente la situación de los traumatismos causados por el tránsito
vehicular por medio de cifras, imágenes, estadísticas y gráficas.
La respuesta correcta “A” invita a comparar la población de los países con ingresos
medios con la de los países con ingresos altos. Todas las opciones de respuesta deberían
responder a la intención del ítem; por ello se modifica la opción de respuesta “D”, quedando
redactada así: “Se expone menos a multas de tránsito…”.
Los ítems que deben ser ajustados son: uno (1), cuatro (4), cinco (5), nueve (9), once
(11), doce (12), trece (13) y catorce (14).
En el ítem uno, los resultados sugieren la revisión de la opción de respuesta “D”,
considerando que el ítem está diseñado para medir el nivel literal, donde se pretende que el
estudiante reconozca la idea central del párrafo y que determine el orden de las acciones.
El contexto del ítem tiene una descripción amplia y detallada compuesta por un
diálogo entre Circe y Odiseo. El enunciado indaga literalmente por los momentos
conversacionales ocurridos en secuencia. La opción de respuesta correcta es “A”, y está
enmarcada en la línea 2 y 3, cuando justifica el anuncio del viaje, a saber: “Pero, ante todo,
debes cumplir otro viaje y llegar a las mansiones de Hades”; y, también, en la línea 8 y 9,
cuando expone el lamento: “¿Ah, Circe, quien va, pues, a guiarme en este viaje?
Todas las opciones de respuesta deberían responder a la intención del ítem. Por ello, se
modifica la opción de respuesta “D”, así: “Llegada de Perséfone, consulta en oráculo”.
En el ítem cuatro, los resultados sugieren la revisión de la opción de respuesta “A”,
que mide el nivel literal. En este caso, se busca que el estudiante identifique el vocabulario
básico para organizar las ideas. El contexto de este ítem expone la intervención del hombre en
los cambios en la vida de algunas especies animales. La opción de respuesta correcta es “D”,
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 59
ubicada en la línea 2, cuyo conector discursivo de inicio ayuda a señalar la idea central que
conlleva la conclusión del texto, sea de manera literal o parafraseada.
Todas las opciones de respuesta deberían responder a la intención del ítem. Por ello, se
modifica la opción de respuesta “A”, así: “La rana toro, originaria de América del Norte y
criada en cautiverio, se ha diseminado en una amplia zona de Caldas”.
En el ítem cinco, los resultados sugieren la revisión de la opción de respuesta “A”,
donde la intención responde al nivel literal, que permite el reconocimiento de la idea central y
de las ideas subsiguientes del párrafo, además de localizar la idea principal en condición de
paráfrasis. También, es preciso reconsiderar el enunciado, puesto que la expresión “La
afirmación central del texto es” puede confundir al lector si en todas las opciones de respuesta
se encuentra la palabra “no”.
El contexto de este ítem se desarrolla con brevedad, y aporta información que ubica al
lector a partir de cifras y de datos que describen específicamente la situación sobre los
residuos informáticos. La opción de respuesta es “D”, ubicada en la línea 4, 5 y 6, donde se
expone que no es un problema medio ambiental de primer orden, y que, además, un ordenador
es un equipo tan complejo que reciclarlo requiere de mucha inversión y los beneficios no son
considerables.
Todas las opciones de respuesta deberían responder a la intención del ítem. Por ello, se
modifica la opción de respuesta “A”, así: “Los residuos informáticos no sobrepasan las 70.000
toneladas”. Además, el enunciado se redacta de este modo: “La idea central del texto es”.
En el ítem nueve, los resultados sugieren la revisión de la opción de respuesta “B”,
donde el ítem responde a la intención del nivel inferencial, que requiere que el estudiante
identifique categorías no incluidas directamente en el texto. El contexto de la infografía
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 60
permite identificar claramente la situación de los traumatismos causados por el tránsito
vehicular, por medio de cifras, imágenes, estadísticas y gráficas. La opción de repuesta es
“A”, donde se refleja el propósito del autor, que sensibiliza al lector sobre los riesgos de morir
en accidentes de tránsito.
Todas las opciones de respuesta deberían responder a la intención del ítem. Por ello, se
modifica la opción de respuesta “B”, así: “Inquietar al espectador sobre el uso de vehículos
menos riesgosos en el mundo”.
En el ítem once, los resultados sugieren ajustar la opción de respuesta “B”, donde el
ítem responde a la intención de nivel crítico en el que se reflexiona acerca de los efectos
esenciales para la vida. El contexto presenta un anuncio publicitario de marca de ropa,
acompañado del mensaje “Aprende a querer a las personas por lo que son y no por cómo se
visten”. La opción de respuesta es “D”, donde se evidencia la relación de complementariedad
entre los personajes (hombre-mujer) puesto que componen el concepto de la marca de ropa.
Todas las opciones de respuesta deberían responder a la intención del ítem. Por ello, se
modifica la opción de respuesta “B”, así: “Correspondencia, en tanto uno y otro muestran
satisfacción con el modo de vestir”.
En el ítem doce, los resultados sugieren revisar todas las opciones de respuesta,
teniendo en la cuenta que es un ítem con mayor grado de complejidad a nivel léxico. Este ítem
responde a la intención de nivel crítico, donde se busca que el estudiante asuma posturas
frente al tema. El contexto presenta un anuncio publicitario de marca de ropa, lo mismo que el
anterior ítem.
Todas las opciones de respuesta deberían responder a la intención del ítem, por ello en
el nivel léxico se modifican todas las opciones de respuesta, así:
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 61
A. Es un buen modelo de revolución al paradigma establecido por la moda.
B. Es un buen ejemplo de conformidad, pues se ajusta a un modelo
revolucionario.
C. Justifica el prototipo de moda establecido por medio del otro personaje.
D. Promueve el uso de ropa informal para controvertir la idea de moda.
En el ítem trece, los resultados sugieren la revisión de la opción de respuesta “B”, y la
reubicación de la opción “C” como clave de respuesta. El ítem responde al nivel crítico en el
que se comprende el propósito del texto valorando acciones circunscritas a la situación. Como
sucede en el ítem anterior, el contexto presenta un anuncio publicitario de marca de ropa.
Todas las opciones de respuesta deberían responder a la intención del ítem. Por ello, se
modifica la opción de respuesta “B”, así: “Se manipula al lector al establecer que lo menos
importante es la apariencia personal”.
Por otro lado, en cuanto al orden, se sugiere lo siguiente:
A. Permite al consumidor considerar los valores por encima de la apariencia
física.
B. Se manipula al lector al establecer que lo menos importante es la apariencia
personal.
C. Permite al lector reelaborar un nuevo significado del concepto de moda.
D. Se manipula al consumidor al promover un antivalor por medio de un valor
usurpado.
En el ítem catorce, los resultados sugieren la revisión de la opción de respuesta “C”,
considerando que el ítem responde a la intención del nivel crítico, donde el estudiante
recupera información implícita gracias a la intertextualidad. El contexto presenta la narración
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 62
de un personaje que por accidente encuentra un elemento mágico que le otorga el poder de
hacerse invisible. La posesión de este poder lo induce a tomar decisiones que pasan por alto
los valores éticos; es decir, el personaje decide desconocer el valor de lo justo y de lo injusto.
Todas las opciones de respuesta deberían responder a la intención del ítem. Por ello, se
modifica la opción de respuesta “C”, así: “El poder da ventajas tanto para promover la justicia
como la injusticia”.
Los ítems que deben ser eliminados son: dos (2), seis (6), siete (7) y diez (10).
Los resultados del ítem dos sugieren su eliminación, pues está desajustado y no asigna
puntajes a los aciertos y a los desaciertos de los sujetos en función de su comprensión lectora
en el nivel literal.
Lo mismo sucede con el ítem seis, pues los resultados sugieren eliminarlo; aunque
apunta al nivel inferencial, no permite valorar la habilidad del estudiante, y las opciones de
respuesta tampoco permiten la medición. Existe la posibilidad de que este ítem esté
contaminado con otra habilidad diferente de la comprensión lectora, en la que se centra la
intención del ítem.
Los resultados del ítem siete también sugieren eliminarlo, puesto que si bien responde
a la intención de nivel literal, es probable que la interpretación requerida para resolverlo se
explique mejor por otros procesos cognitivos, como el reconocimiento visual de la
información.
Sucede igual con el ítem diez, pues los resultados sugieren eliminarlo, ya que se
proyectó con intención inferencial, como lo muestra el análisis estadístico. Se observa bajo
índice de asociación con el puntaje total, situación que indica que la medida que hace este
ítem está dirigida a una habilidad diferente de la comprensión lectora.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 63
Conclusiones
En primer lugar, la investigación permitió la documentación y la caracterización de los
niveles de lectura crítica para la adaptación del instrumento de evaluación diagnóstica a partir de
cien preguntas, debidamente filtradas, para que cumplieran con los criterios de selección
establecidos en la lista de exploración de los ítems para dar cuenta de los niveles de desempeño
en la lectura crítica.
Posteriormente, el instrumento quedó conformado por diez preguntas, que fueron
ajustadas a la luz de la validez del contenido, de la valoración de los jueces y de la validez con la
cual se ajustaron al modelo de Rash. Se buscaba la creación de un instrumento que permitiera
realizar un ejercicio de evaluación cualitativa de habilidades, capacidades y competencias a nivel
de lectura crítica.
Una vez diseñado el instrumento, se analizaron aspectos de aprendizaje en grados de
dificultad, lo que brindó la posibilidad de mostrar una ruta a la institución para apoyar los planes
de mejoramiento al interior del plano curricular y proyectar de este modo su consolidación.
La exclusión de los ítems con inadecuadas condiciones de validez o de confiabilidad y los
ajustes a los ítems garantizan que el instrumento, aun cuando debe pilotearse nuevamente, tiene
alta probabilidad de confiabilidad y de validez.
Muchas pruebas solo asignan un puntaje o una calificación: en este caso, la prueba apunta
a determinar los vacíos de aprendizaje de los estudiantes, de tal forma que la institución tenga a
su disposición la toma de decisiones para emprender una mejora en el desarrollo de la lectura
crítica, y presentar un grupo de ítems –breves pero válidos–, que respondan a algunas de las
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 64
exigencias de evaluación sin carácter condicional en cuanto a tiempo de aplicación de la prueba y
a los efectos sociales que pueda acarrear.
Se trata de un instrumento breve elaborado para uso de la institución, que se convierta en
punto de partida para plantear mejoras en los niveles de lectura crítica de los estudiantes.
La prueba invita a que la institución asuma la responsabilidad de efectuar evaluaciones
periódicas, asumiendo el costo que requiere la producción de preguntas por parte de un equipo de
profesionales dispuestos a efectuar los procesos de validación y de reacomodación para
monitorear a los estudiantes a lo largo de la carrera, procurando la construcción de pruebas con
preguntas de alto nivel de complejidad, en la medida en que las exigencias académicas de sus
programas determine mayor dominio de la función de lectura crítica.
Para la institución, esta es una nueva forma de ver la construcción de herramientas breves
compuestas por ítems, encaminadas a intenciones específicas medibles cualitativamente, y que
permitan preparar a los estudiantes en lectura crítica, sin desconocer la necesidad de participar y
de obtener mejores resultados en las pruebas nacionales e internacionales.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 65
Bibliografía
“Aproximaciones a la lectura crítica: teoría, ejemplos y reflexiones”. Tarbiya: Revista de
investigación e innovación educativa del Instituto Universitario de Ciencias de la
Educación. 2003 (32): 113-32.
Calderón, M. C. (2009). La escritura de los universitarios. Universitas humanistica. ISSN 120,
297-340.
Cassany, D. (2003). Aproximaciones a la lectura crítica: teoría, ejemplos y reflexiones. Tarbiya,
32,113-132.
Cassany, D. (2005). “Los significados de la comprensión crítica”. Lectura y Vida: Revista
Latinoamericana de Lectura, 1-44.
Cisneros, E. M., Olave, A. G., & Rojas , G. I. (2012). “Cómo mejorar la capacidad inferencial en
estudiantes universitarios”. Educ.Educ, 45-61.
CLACSO, C. L. (2014). Políticas Educativas y Derecho a la Educación en América Latina y el
Caribe. Bahía-El Salvador.
Cohen, R., & Sewerlik, M. (2006). Pruebas y evaluación psicológicas: Introducción a las
pruebas de medición. México: McGraw-Hill.
Cortada de Kohan, N. (2004). “Teoría de Respuesta al Ítem: supuestos básicos”. Evaluar (4), 95-
110.
Dascal, M. (1986). “Una crítica reciente a la noción del significado literal”. Revista
Hispanoamericana de Filosofía, 33.
González, M. M. (2008). El ánalisis de reactivos con el modelo Rasch. Manual técnico. México,
D.F.: Universidad de Sonora, Instituto para la Evaluación de la Educación. Obtenido de
http://www.winsteps.com/a/recursos-offline.pdf.
Gordillo, A., & Flórez, M. (2009). “Los niveles de comprensión lectora: hacia una enunciación
investigativa y reflexiva para mejorar la comprensión lectora en estudiantes
universitarios”. Actualidades Pedagógicas, 95-107.
Hjemslev, L. (1976). Principios de gramática general. Madrid: Gredos.
Hogan, T. (2004). Pruebas psicológicas: “Una introducción práctica”. México: Manual
Moderno.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 66
ICFES. (2013). Sistema Nacional de Evaluación Estandarizada de la Educación. Alineación del
Examen Saber 11. Bogotá: Instituto Colombiano para el Fomento de la Educación
Superior.
ICFES. (2014). Módulo de Lectura Crítica Saber Pro 2014-1. Bogotá: Instituto Colombiano para
el Fomento de la Educación Superior.
Josep Ballester, N. I. (2013). La tentación diabólica de instruirse. OCNOS. Revista de Estudios
sobre lectura, 10, 7-26.
Keith , C. (2010). An Introduction to Psychological Assessment And Psychometrics. London:
SAGE.
Linacre, J. (2003). “Rach Power Analysis: Size vs. Significance: Infit and Outfit Mean-square
and Standardized Chi-scuare Fit Statistic”. Rach Meashurement Transactions, 17:1, 918.
Linacre, J. (2006). A user’s guide to Winsteps Ministeps: Rasch-Model. Chicago: IL Electronic
Publication.
Lineamientos Curriculares, Lengua castellana. (1998). Bogotá: Magisterio.
Lineamientos Curriculares, Lengua castellana. (1998). Santafé de Bogotá: Magisterio.
Marín, M. (2006). “Alfabetización académica temprana. Lectura y vida”. Revista
Latinoamericana de Lectura, 1-30.
MEN, M. (2006). Leer y escribir en la escuela: Algunos escenarios pedagógicos y didácticos
para la reflexión. Bogotá: Ministerio de Educación Nacional.
OCDE, O. p. (2013b). “Review on Evaluation and Assessment Frameworks for Improving
Outcomes School”. Report: “What we have learned”.
Pereira, C., Hernández, G., & Gómez, I. (2011). “El valor predictivo de los exámenes de Estado
frente al rendimiento académico universitario”. Educ.Educ, 14(1), 51-65.
Rust, J., & Susan, G. (2014). Modern Psychometrics. Third Edition.
Serrano, M. (2008). “El desarrollo de la comprensión crítica en los estudiantes universitarios:
Hacia una propuesta didáctica”. Artículos arbitrados, 505-514.
Terrón, A. (2010). Introducción al análisis de la Teoría de Respuesta al Ítem. San Francisco:
Creative Commons.
Tristán, A. (2002). Análisis de Rash para todos:una guía para evaluadores educativos. México
D.F.: Ceneval.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 67
APÉNDICE 1.
Consentimiento informado
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 68
APÉNDICE 2.
Lista de exploración de los ítems
El siguiente instrumento tiene el propósito de validar los ítems de la herramienta que
permitirá efectuar una evaluación diagnóstica con catorce intenciones de pregunta por parte de
jueces con reconocida experiencia profesional en el campo de estudio.
Los criterios de evaluación, son:
1. De acuerdo con el ítem.
2. En desacuerdo.
3. De acuerdo con las sugerencias.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 69
Aspectos a
revisar 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Observaciones
Generales
El nivel de
dificultad del
ítem es
apropiado para
la muestra.
La redacción
es clara.
Los textos
presentan
inclusión por
el propósito.
Las gráficas
son
pertinentes.
Las opciones
de respuesta
inducen a la
respuesta
correcta.
Presenta
información
necesaria para
que responda.
Encuentra más
de una opción
correcta.
Se responde
por sentido
común.
La extensión
de los textos
es adecuada.
Responde a la
intención de la
pregunta y el
nivel.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 70
APÉNDICE 3.
Facultad de Nuevas Tecnologías de la Información y las Comunicaciones de la Fundación
Universitaria CIDCA. Tecnología en Sistemas
Lea con atención los siguientes textos y seleccione la respuesta en la tabla de respuestas.
Texto
[...] Y me contestó la divina entre las diosas: “Hijo de Laertes, de linaje divino, Odiseo de
mil trucos, no te quedes ya más en mi morada contra tus deseos. Pero, ante todo, tienes que
cumplir otro viaje y llegar a las mansiones de Hades y la venerada Perséfone, a consultar en
oráculo el alma del tebano Tiresias, el adivino ciego, que conserva su entendimiento firme. A él,
incluso muerto, le concedió Perséfone mantener su mente despierta, a él solo, “que los demás se
mueven como sombras”. Así dijo. Entonces, a mí se me partió el corazón. Me eché a llorar
tumbado sobre el lecho, y mi ánimo ya no quería vivir ni ver más la luz del sol. Luego que me
sacié de llorar y de revolcarme, entonces a ella le dirigí mis palabras y dije: “¿Ah, Circe, quién
va, pues, a guiarme en ese viaje? Hasta el Hades nunca nadie llegó en una negra nave”.
Homero, Odisea, canto X; Madrid, Gredos, 1987: págs. 487-502.
1. En el texto anterior, los acontecimientos principales ocurren en el siguiente orden:
A. Anuncio del viaje, lamento del héroe.
B. Llegada al Hades, encuentro con Tiresias.
C. Encuentro con la diosa, partida del héroe.
D. Partida del héroe, llegada al Hades.
2. En la expresión: “que los demás se mueven como sombras”, que aparece al final del
primer párrafo, la palabra subrayada alude a:
A. Otras almas que están en el Hades.
B. Hades y Perséfone.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 71
C. Otros adivinos ciegos.
D. Otras mansiones de Hades.
Texto
La posesión de una personalidad nos obliga inexcusablemente a pulirla con esmero y
dedicación, como hace el escultor con su obra. Huyamos del engolamiento, de la altanería que la
afea. Más, al mismo tiempo, la escultura moral de este modo conseguida, no debe ser ocultada
con el velo de la insignificancia, fruto de una humildad mal entendida, que impregna de
negatividad inoperante la fortaleza positiva de una personalidad satisfactoria. Por el contrario,
para la consolidación de nuestra personalidad cabal y contundente debemos amoldar nuestras
actitudes en función del equilibrio, de lo moderado, de la simpatía personal. Todos los extremos
son malos. No olvidemos esta sencilla máxima. Debemos enfrentarnos a la vida con serenidad y
ponderación, sin pretender ser ni más ni menos de lo que somos. Si trascendemos, que sea por
nuestra realidad exacta. No debemos dejamos seducir por el rojo vivo ni tampoco por el negro
impenetrable.
Olesky, Carlos. Personalidad, importancia y simpatía. En, razonamiento-
verbal1.blogspot.com/2013/04/comprension-de-lectura-ejercicios_2683.html.
3. La consecución de una personalidad cabal y contundente, depende de:
A. La dedicación, la serenidad y la ponderación de la conducta.
B. El esfuerzo que ponga al momento de superar a los demás.
C. El esmero con que haga relucir sus capacidades.
D. La iniciativa con que asuma su desarrollo.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 72
Texto
Cuando un animal no tiene un enemigo natural –es decir, un depredador–, se reproduce
sin freno. Por lo general, es el ser humano quien genera el problema al llevar ejemplares del reino
animal a lugares que les son extraños. En la actualidad, hay preocupación en Colombia porque en
la región cafetalera se ha reproducido mucho la rana toro o mugidora. Esta rana es originaria de
Estados Unidos, de donde se importó hace trece años. Como en algunos lugares hay demanda de
ranas, se la empezó a criar en cautiverio. Pero hace cinco años, ejemplares de este anfibio
aparecieron en Caldas, donde se desperdigaron por toda la región.
Newton. Revista de Divulgación Científica. En, http://razonamiento-
verbal1.blogspot.com/2013/01/ejercicios-de-comprension-de-lectura-n-4.html
4. A partir del texto se concluye fundamentalmente, que:
A. Los norteamericanos han introducido ranas en una región de Colombia donde la
multiplicación ha sido vertiginosa.
B. Los animales se reproducen de manera rápida si se extinguen sus depredadores o
enemigos naturales.
C. Una especie de rana ha alcanzado niveles alarmantes de reproducción en una región
de donde no es originaria.
D. El ser humano genera grandes problemas al alterar la forma de vida natural de
especies animales silvestres.
Texto
Cada año se genera una cantidad considerable de residuos informáticos. Sólo en productos
IBM, la cifra se mueve entre 60 000 y 70 000 toneladas. A pesar de ello, en Europa, todavía la
basura informática no supone más de 5% de los residuos totales generados. No es un problema
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 73
medioambiental de primer orden. Además, un ordenador es un equipo tan complejo que su
reciclado requiere de mucha inversión, y los beneficios que puede generar parece que todavía no
son considerables.
Newton. Revista de Divulgación Científica. Sección actualidad. En, http://razonamiento-
verbal1.blogspot.com/2013/01/ejercicios-de-comprension-de-lectura-n-4.html
5. La afirmación central del texto, es:
A. La proliferación de los residuos informáticos no genera impacto ecológico alguno.
B. La contaminación con residuos informáticos aún no llega a niveles alarmantes.
C. La escasa gravedad del problema no amerita mayor preocupación por los daños
actuales a la ecología.
D. El escaso impacto ecológico y la poca rentabilidad del reciclaje no fomentan una
política agresiva contra los residuos informáticos.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 74
Responda las preguntas de acuerdo con la siguiente información:
Figura 5. Infografía “Traumatismos causados por el tránsito”.
6. Considere la siguiente descripción del contenido de la infografía: “La infografía
muestra datos sobre la frecuencia de los accidentes de tránsito en el mundo, y ejemplos
relacionados. Además, informa sobre la mortalidad por género, por ingresos, por número de
vehículos, por tipo de vehículo y por ubicación regional.” Esta descripción es insatisfactoria
porque:
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 75
A. Pasa por alto información esencial contenida en la infografía.
B. El orden de su contenido no corresponde con el de la infografía.
C. Menciona información que no está presente en la infografía.
D. Omite evidencias que sustentan la información de la infografía.
7. De acuerdo con la información presentada sobre el porcentaje de muertes por tipo de
vehículo, se puede afirmar que es más probable que alguien que haya muerto por accidente de
tránsito hubiera estado desplazándose:
A. A pie.
B. En moto.
C. En bicicleta.
D. En otro tipo de vehículo.
8. A partir de las gráficas sobre la relación entre el número de vehículos y el número de
muertes en accidentes de tránsito se puede inferir que, comparada con la población de los países
de ingresos medios, la de los países de ingresos altos:
A. Tiene más vehículos por persona.
B. Usa menos el vehículo particular.
C. Es más educada en materia vial.
D. Está más expuesta a multas de tránsito.
9. A partir de la información presentada, se puede afirmar que el autor de la infografía
tiene como propósito:
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 76
A. Sensibilizar al espectador sobre los riesgos de morir en un accidente de tránsito.
B. Incentivar al espectador para que use formas de movilidad alternas al automóvil.
C. Conmover al espectador presentando datos sobre el número de accidentes de tránsito.
D. Sensibilizar al espectador acerca de la necesidad de manejar sobrio y despacio.
Texto
Pese a que la información es reconocida como uno de los resultados valiosos de la
educación, muy pocos maestros se contentarían en considerarla como la única primordial
consecuencia de la enseñanza. Se necesita alguna muestra de que los estudiantes puedan hacer
algo con sus conocimientos, es decir, que sean capaces de aplicar la información a situaciones y
problemas nuevos. También se espera que adquieran técnicas generalizadas para enfrentar
distintos asuntos y materias. De esta manera se supone que, frente a un problema o a una
situación nueva, podrán elegir la técnica adecuada para encararlos con la información necesaria,
tanto en lo que respecta a hechos como a principios. Algunos han denominado a esta actividad
“pensamiento crítico”, y hubo quienes le dieron el nombre de “soluciones de problemas”. En la
taxonomía hemos empleado los términos “habilidades intelectuales” y “capacidades técnicas”. Su
definición operativa más general afirma que el individuo que las posee puede encontrar en su
experiencia previa información y las técnicas apropiadas para responder efectivamente al desafío
de dificultades y circunstancias distintas.
BLOOM, Benjamín S. Taxonomía de los objetivos de la educación. En, razonamiento-
verbal1.blogspot.com/2013/04/comprension-de-lectura-ejercicios_2683.html
10. ¿Cuál sería el título apropiado para el texto?
A. Objetivos de la enseñanza.
B. Importancia de la educación.
C. Técnicas para el aprendizaje.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 77
D. Trascendencia de las informaciones.
Responda las preguntas de acuerdo con la siguiente información:
Figura 6. Aviso “Aprenda a querer a las personas por lo que son y no por
cómo se visten”.
11. Entre los personajes del anuncio se establece una relación de:
A. Subordinación, pues el hombre depende de la mujer para expresar el mensaje.
B. Conformidad, en tanto uno y otro muestran su gusto con el modo de vestir.
C. Discordancia, pues el hombre encarna el buen vestir y la mujer vestida de payaso,
no.
D. Complemento, en tanto entre ellos componen el concepto de la marca de ropa.
12. Frente al propósito del anuncio, la razón por la que la mujer vestida de payaso
aparece, es que ella:
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 78
E. Es un buen modelo de subversión al paradigma establecido por la moda.
F. Es un buen ejemplo de conformidad en tanto se ajusta a un modelo.
G. Legitima el arquetipo de moda establecido a través del otro personaje.
H. Promueve el uso de ropa extravagante para controvertir la idea de moda.
13. Teniendo en la cuenta que este es un anuncio de una marca de ropa, del enunciado:
“Aprenda a querer a las personas por lo que son y no por cómo se visten” es válido decir que:
E. Permite al lector reelaborar un nuevo significado del concepto de moda.
F. Se manipula al lector al hacerle pensar que lo más importante es la apariencia.
G. Permite al consumidor considerar los valores por encima de la apariencia física.
H. Se manipula al consumidor al promover un antivalor a través de un valor
usurpado.
Texto
El poder del que hablo sería efectivo al máximo si aquellos hombres adquirieran una
fuerza tal como la que se dice que cierta vez tuvo Giges, el antepasado del lidio. Giges era un
pastor que servía al entonces rey de Lidia. Un día, sobrevino una gran tormenta y un terremoto
que rasgó la tierra y produjo un abismo en el lugar en que Giges llevaba el ganado a pastorear.
Asombrado al ver esto, descendió al abismo y halló, entre otras maravillas que narran los mitos,
un caballo de bronce, hueco y con ventanillas, a través de las cuales divisó adentro un cadáver de
tamaño más grande que el de un hombre, según parecía, y que no tenía nada excepto un anillo de
oro en la mano. Giges le quitó el anillo y salió del abismo. Ahora bien, los pastores hacían su
reunión habitual para dar al rey el informe mensual concerniente a la hacienda, cuando llegó
Giges llevando el anillo. Tras sentarse entre los demás, casualmente volvió el engaste del anillo
hacia el interior de su mano. Al suceder esto se tornó invisible para los que estaban sentados allí,
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 79
quienes se pusieron a hablar de él como si se hubiera ido. Giges se asombró, y luego, examinando
el anillo, dio vuelta al engaste hacia afuera y tornó a hacerse visible. Al advertirlo, experimentó
con el anillo para ver si tenía tal propiedad, y comprobó que así era: cuando giraba el engaste
hacia adentro, su dueño se hacía invisible, y cuando lo giraba hacia afuera, se hacía visible. En
cuanto se hubo cerciorado de ello, maquinó el modo de formar parte de los que fueron a la
residencia del rey como informantes y, una vez allí, sedujo a la reina y con ayuda de ella mató al
rey y se apoderó del reino.
Por consiguiente, si hubiesen dos anillos como el de Giges y se diera uno a un hombre
justo y otro a uno injusto, ninguno perseveraría en la justicia ni soportaría abstenerse de bienes
ajenos, cuando podría tanto apoderarse impunemente de lo que quisiera del mercado, como, al
entrar en las casas, acostarse con la mujer que prefiriera, y tanto matar a unos como librar de las
cadenas a otros, según su voluntad, y hacer todo como si fuera igual a un dios entre los hombres.
En esto, el hombre justo no haría nada diferente del injusto, sino que ambos marcharían por el
mismo camino. E incluso se diría que esto es una importante prueba de que nadie es justo si no es
forzado a serlo, por no considerarse a la justicia como un bien individual, ya que allí donde cada
uno se cree capaz de cometer injusticias, las comete. En efecto, todo hombre piensa que la
injusticia le brinda más ventajas individuales que la justicia, y está en lo cierto, si habla de
acuerdo con esta teoría.
Tomado de: Platón IV, D. (1986). República, traducción y notas de C. Eggers Lan,
Madrid, Gredos. En, s.scribd.com/doc/153232506/Ejercicios-de-La-Obra-Odisea#scribd
14. ¿Cuál de las siguientes afirmaciones constituye una razón a favor de la tesis principal
del texto anterior, a saber, que cuando alguien actúa justamente lo hace por obligación y no
voluntariamente?
A. La gente se ve obligada a actuar justamente.
ADAPTACIÓN DE UN INSTRUMENTO PARA EVALUACIÓN DIAGNÓSTICA 80
B. Solo la igualdad garantiza el respeto por la ley.
C. La injusticia brinda las mismas ventajas individuales que la justicia.
Siempre que una persona cuente con la libertad para cometer injusticias, lo hará.
