Date post: | 18-Feb-2016 |
Category: |
Documents |
Upload: | jessi-pocoy-condori |
View: | 27 times |
Download: | 7 times |
CONSTRUCCIÓN DE PRUEBAS PSICOLÓGICAS
ÍNDICE
DEDICATORIA..........................................................................................................................4
INTRODUCCIÓN.......................................................................................................................5
1. CONSTRUCCIÓN DE PRUEBAS...................................................................................6
2. FINALIDAD DE UN TEST....................................................................................................7
2. CONTENIDO DE LA CONSTRUCCIÓN DE PRUEBAS..............................................9
2.1. Tener bien estructurados los contenidos sobre los que se va a hacer el test9
2.2. Seleccionar el contenido del test...........................................................................10
2.3. ¿Cuantos ítems debe tener un test?.....................................................................10
3. FORMATO DEL TEST....................................................................................................11
4. ELABORACION DEL PRETEST...................................................................................11
4.1. Elaboración de los Ítems........................................................................................11
4.2. Redacción de las Instrucciones.............................................................................11
4.3. Elaboración del Material del Pretest.....................................................................12
4.4. Elaboración de la Calificación................................................................................12
4.5. Juicio de Expertos...................................................................................................12
4.6. Aplicación al Grupo Piloto.......................................................................................12
4.7. Ingreso de datos al Programa del SPSS..............................................................13
REGLAS GENERALES......................................................................................................13
REGLAS SOBRE LOS ENUNCIADOS............................................................................13
A. Clasificación de los ítems según su forma...............................................................13
4. EL ITEM............................................................................................................................14
4.1. COMPONENTES:........................................................................................................15
4.2. TIPOS DE ITEM POR SU RESPUESTA..................................................................16
4.3. VALIDACION DE ITEMS............................................................................................16
5. CONSTRUCCION PROVICIONAL DE UN CUESTIONARIO...................................16
5.1. TIPOS DE PREGUNTAS A UTILIZAR EN UN CUESTIONARIO:........................17
5.2. CONSTRUCCIÓN DEL CUESTIONARIO................................................................20
5.3. ELABORACIÓN DEL CUESTIONARIO...................................................................23
5. ELABORACIÓN DE UNA PRUEBA..............................................................................24
5.1. DEFINICION DE LA PRUEBA...............................................................................25
5.2. ELECCION DEL METODO DE ESCALAMIENTO..............................................25
5.2.1. METODOS DE ESCALAMIENTO REPRESENTATIVOS..........................26
5.2.1.1. Ordenamientos de expertos...................................................................26
5.2.1.2. Escalas Likert...........................................................................................27
5.2.1.3. Escalas de Guttman................................................................................28
5.2.2. ELABORACIÓN DE LOS REACTIVOS........................................................29
5.2.2.1. Preguntas iniciales en la elaboración de la prueba.............................29
5.2.2.2. La tabla de especificaciones..................................................................30
5.2.2.3. Formatos de los reactivos.......................................................................31
5.2.3. ANÁLISIS DE LOS REACTIVOS...................................................................34
5.2.4. REVISIÓN DE LA PRUEBA...........................................................................34
5.2.4.1. Validación cruzada...................................................................................35
5.2.5. PUBLICACIÓN DE LA PRUEBA...................................................................35
5.2.5.1. Producción de los materiales de evaluación........................................36
5.2.5.2. Manual técnico y manual del usuario....................................................36
CONCLUSIONES....................................................................................................................38
SUGERENCIAS.......................................................................................................................39
REFERENCIAS BIBLIOGRÁFICAS.....................................................................................40
ENLACES WEB.......................................................................................................................40
DEDICATORIA
El presente trabajo está dedicado a todos nuestros compañeros del VIII ciclo de psicología, a nuestro docente del curso por impartirnos nuevas enseñanzas.
INTRODUCCIÓN
La Psicología reconoce en la Psicometría esa rama que se ocupa de las
cuestiones relacionadas con la medición.
Los procesos operacionales de medición en Psicología asociados a las escalas
de medida: el objetivo de la Psicometría será hallar la mejor manera de
observar, clasificar y transformar categorías manifiestas en escalas
“cuantitativas” partiendo de la aceptación del isomorfismo entre propiedades
atribuidas a las categorías psicológicas y las propiedades atribuidas a los
números que las representan (Stevens, 1951).
Postularemos a la evaluación psicológica como un proceso de toma de
decisiones cuyo objetivo es apuntar, con precisión y validez, a la tarea de
psicología aplicada para solucionar problemas individuales, sociales y
ambientales.
Quienes se dedican a elaborar pruebas, brindan una amplia variedad de
antecedentes y detalles respecto del proceso de elaboración. Sin embargo, la
APA (American Psychological Association) estima que más de 20.000 pruebas
nuevas se elaboran cada año y abarcan pruebas elaboradas para un estudio
de investigación específico, revisiones de anteriores publicadas , etc.
Consideramos de importancia la construcción de pruebas psicológicas, puesto
los test psicológicos forman parte de los instrumentos de trabajo de la
evaluación psicológica. Aquí conoceremos sobre la construcción de pruebas, la
finalidad del test, el contenido de construcción, la elaboración del pre test, a
cerca del ítem, sobre el cuestionario, y por ultimo aprenderemos cuales son los
pasos a seguir para elaborar una prueba psicológica.
Habiendo realizado una breve exposición sobre los temas a tratar a
continuación, y que ello permitirá un mayor aprendizaje de parte de los
estudiantes de psicología, recomendamos una lectura compresiva y profundizar
a partir de la bibliografía o referencias sobre el tema tratar con la finalidad de
conocer sobre la construcción de pruebas.
1. CONSTRUCCIÓN DE PRUEBAS
Un buen instrumento de evaluación debe ser construido de una forma
rigurosa si queremos que sea adecuado para los usos a los que está
dirigido. En la práctica, el desarrollo de un test es una tarea laboriosa que
requiere de la colaboración entre expertos en la materia o constructo a
evaluar y expertos en medición. Los tests pueden desarrollarse en el marco
de dos grandes modelos, conocidos como Teoría Clásica de los Tests
(TCT) y Teoría de Respuesta al Ítem (TRI).
En psicometría, se denomina construcción de tests o construcción de
pruebas al conjunto de procedimientos de planificación, diseño, control,
normalización y estandarización de pruebas o tests psicológicos. La
construcción de un test psicológico puede enmarcarse en la teoría clásica o
realizarse de acuerdo a la teoría de respuesta al ítem (también llamada
«teoría probabilística»). Si se concibe el test como instrumento medición
ajustado a criterios científicos, su construcción es un proceso complejo,
que consta de varias fases o pasos en los que se aplican pruebas o
procedimientos estadísticos. Las fases se realizan sucesivamente, de
modo que cada una se basa en los resultados obtenidos en la fase anterior.
Toda prueba psicológica es construida de tal manera que represente o
pueda predecir una determinada conducta. Según Brown (1980) una
prueba psicológica es una representación cuando sus reactivos son
similares a la conducta que desea medir y es predictiva cuando sus
reactivos, aunque no son similares a la conducta, pueden predecirla.
Por lo tanto, la construcción de los reactivos de una prueba es
fundamental, así como su análisis y comprobación. Conocer exactamente
lo que se quiere medir es muy importante para la construcción de "buenos
reactivos".
Al elaborarse una prueba, se proponen inicialmente una buena cantidad de
reactivos, de los cuales solo se quedan aquellos que realmente miden lo
que se pretende medir. Bacher (1981) advierte sobre los errores
sistemáticos que ocurren en la construcción de reactivos y hace varias
sugerencias, entre ellas:
(a) el vocabulario debe ser simple, accesible a todos,
(b) se deben evitar los términos técnicos y palabras cuyo sentido varíe
según la región o el grupo social,
(c) se deben evitar formulaciones muy abstractas pues pueden ser mal
comprendidas,
(d) se deben evitar reactivos muy largos, sobre todo cuando son
formulados en la forma interrogativa o cuando contengan negaciones,
(d) en la formulación de los reactivos, se debe evitar favorecer
determinadas respuestas volviendo las demás menos probables,
(e) no debe figurar en la formulación de un reactivo más de una idea
pues, es imposible saber a cuál de ellas contesta el sujeto.
2. FINALIDAD DE UN TEST El desarrollo de un test comienza con la delimitación del objetivo del test y el
constructo o dominio que se pretende medir. En este terreno, un primer paso
es considerar cuáles son las poblaciones a las que está destinado y el tipo de
decisiones que se tomarán con las puntuaciones obtenidas.
Con respecto a la primera cuestión deberán determinarse las edades de los
sujetos (o los cursos en muchos de los tests de rendimiento), si el test se
aplicará a todos los sujetos o a grupos seleccionados de alguna forma (tests
para la población general o destinados a grupos especiales), requisitos de
lenguaje que deben tener los sujetos (pueden establecerse también
modificaciones o adaptaciones permisibles), si se necesita o no una motivación
especial para realizar el test, etc.
Con respecto a los posibles usos de las puntuaciones, sin ánimo de ser
exhaustivos, entre los tipos de decisiones más frecuentes encontramos:
a) Decisiones relativas al nivel de instrucción o habilidad. El objetivo
consiste en determinar si los sujetos poseen dominio de ciertos
conocimientos o destrezas predeterminados de antemano. Suelen ser
decisiones propias de los llamados Test Referidos a Criterio.
b) Decisiones de diagnóstico. Tienen como objetivo la identificación de
fallos o deficiencias en el comportamiento para emprender alguna
intervención o tratamiento. Aunque las puntuaciones suelen compararse
con datos normativos, este tipo de decisión también es propia de los
Tests Referidos a Criterio.
c) Decisiones de selección. El objetivo en este caso es la selección de
los sujetos más capaces en algún sentido o materia. Las puntuaciones
de los sujetos en el test se usan para admitir o excluir, emplear o
rechazar.
d) Decisiones de asignación. El objetivo es determinar en qué lugar debe
colocarse una persona dentro de una jerarquía. Esta jerarquía puede ser
de carácter profesional (qué puesto de trabajo corresponde a un
determinado sujeto), de carácter formativo (dentro de un programa de
formación qué nivel le correspondería), etc.
e) Decisiones de clasificación. El objetivo radica también en asignar a los
sujetos a ciertas categorías pero, en este caso, las asignaciones son de
tipo en lugar de nivel. Por ejemplo: ¿dentro de qué categoría diagnóstica
clínica clasificamos a un sujeto?
f) Decisiones de consejo. El objetivo es orientar al sujeto con respecto a
algún aspecto de su comportamiento futuro, abarcando una gran
cantidad de decisiones que el sujeto toma con ayuda de un profesional
de la psicología o la psicopedagogía.
g) De screening (detección rápida): tiene como finalidad la detección
rápida de algún tipo de trastorno, deficiencia o anomalía. El objetivo es
proveer una herramienta sencilla, de rápida aplicación que permita
detectar personas que potencialmente puedan presentar un determinado
trastorno, deficiencia, etc., sirviendo como «criba» antes de la aplicación
de otras pruebas de carácter más exhaustivo.
2. CONTENIDO DE LA CONSTRUCCIÓN DE PRUEBAS La Psicología reconoce en la Psicometría esa rama que se ocupa de las
cuestiones relacionadas con la medición, y si bien es cierto que las ciencias
atraviesan una época de crisis de paradigmas y en especial las ciencias
sociales y conductuales, aún así podemos encontrar contenidos tradicionales
en la Psicometría que son punto de acuerdo entre la mayoría de los autores e
investigadores de la Psicología. Se podrían sintetizar en tres ejes:
a) Los procesos operacionales de medición en Psicología asociados a las escalas de medida: el objetivo de la Psicometría será hallar la mejor
manera de observar, clasificar y transformar categorías manifiestas en
escalas “cuantitativas” partiendo de la aceptación del isomorfismo entre
propiedades atribuidas a las categorías psicológicas y las propiedades
atribuidas a los números que las representan (Stevens, 1951)
b) Confiabilidad o precisión de los instrumentos de medida en Psicología: es uno de los tres problemas de medida asociados a las
escalas de medida que merecen atención ya que si una prueba
psicométrica no es confiable en su medición, su inconsistencia
repercutirá negativamente no solo en la validez del instrumento sino en
todos los procesos relacionales que se incluyan.
c) Validez de una prueba: es la propiedad fundamental en tanto permite
decir de una prueba que mide lo que pretende medir y es un “valor social
sobresaliente que asume una función tanto científica como política
(Messick, 1995)
2.1. Tener bien estructurados los contenidos sobre los que se va a hacer el testEs imprescindible tener bien determinada la estructura de los
contenidos, porque esto nos permitirá:
No dejar de incluir ningún aspecto importante.
Incluir más ítems de los apartados más amplios.
Ponderar cada apartado en función de su relevancia.
Si se quisiera se podría ofrecer puntuaciones o
diagnósticos diferenciados de los distintos contenidos.
2.2. Seleccionar el contenido del testLa tabla anterior es una especie de plano que permite saber qué se
debe incluir en el test. Sin embargo, en ocasiones, incluir todos los ítems
que corresponderían a esa tabla es imposible porque saldría un
examen demasiado largo. Entonces se debe seleccionar una
muestra de los mismos. Ahora bien, esa muestra debe tener
dos características: suficiencia y representatividad.
SUFICIENCIA: el número de elementos debe ser al menos aquel
que permita incluir a todos los grandes bloques, en contenidos y
objetivos.
Ejemplo: Si tenemos 3 grandes apartados de contenidos y
trabajamos con 5 objetivos, debería haber, al menos, 3x5= 15
elementos.
REPRESENTATIVIDAD. Ni todos los objetivos son igualmente
importantes ni todos los contenidos son igualmente relevantes y la
representatividad de los ítems debe tener en cuenta estos
aspectos. Esto puede conseguirse:
Atribuyendo a los grandes bloques un mayor numero de ítems
(dando a todos igual valoración)
Valorando más los ítems referidos a tales objetivos y
contenidos, aunque a cada bloque se atribuya el mismo
número de ítems.
2.3. ¿Cuantos ítems debe tener un test?
3. FORMATO DEL TEST
4. ELABORACION DEL PRETEST
4.1. Elaboración de los Ítems.¿Qué es un ítem?-Conjunto de enunciado, cuyo objetivo es medir las características de un
constructo.
- Es una unidad básica de información de un instrumento de evaluación
y generalmente consta de una jerarquía y de una respuesta cerrada o
abierta.
Elaboración de Ítems. Se confecciona una tabla de doble entrada
especificando los contenidos de la variable o constructo a medir,
garantizando una muestra representativa de todos los posibles reactivos
de generar.
4.2. Redacción de las Instrucciones. Deben de describir el proceso de la respuesta de los examinados. Debe
ser claro y especifico.
Instrucciones:
• A continuación encontrará una serie de frases. Lea atentamente cada
una de ellas y conteste de la siguiente manera:
• Si le parece que es verdad lo que en la frase dice o esta de acuerdo
con ella marque la respuesta SI.
• Si la frase le parece mas falsa que cierta o si esta en desacuerdo con
ella marque en la respuesta NO.
• Asegúrese de haber contestado todas las frases al finalizar.
4.3. Elaboración del Material del Pretest. • Se procederá a crear los ítems que conformará el pre test de la
prueba psicométrica.
• Posteriormente se realizará la hoja del test propiamente dicho,
tomando en cuenta el orden de dificultad de los ítems.
4.4. Elaboración de la Calificación. Si las respuestas son dicotómicas: “SI” y “NO”. La calificación, se colocará un punto (1) a las respuestas
que son indicadores de la variable a estudiar y con cero (0) a aquellos
indicadores que no expresan la característica del mismo.
Si las respuestas son de tipo Likert:Si el enunciado mide el indicador de la variable la calificación seria TA: 5
A:4 I: 3 D: 2 TD: 1, si no mide el indicador seria TA: 1 A:2 I: 3 D: 4 TD: 5
4.5. Juicio de Expertos Tiene la finalidad de contrastar la validez de los ítems.
• Consiste en preguntar a personas expertas en el dominio que miden los
ítems, se refiere al grado en que la medición representa al concepto
medido.
4.6. Aplicación al Grupo Piloto Es la aplicación al grupo de sujetos que presenta los indicadores a
medir.
4.7. Ingreso de datos al Programa del SPSSSe crea la base de variables para posteriormente ingresar la base de
datos al programa del SPSS
REGLAS GENERALES1. Verificar que el ítem corresponda con los propósitos de la evaluación, la
estructura de la prueba y con las dimensiones disciplinares. Todas las
preguntas de una prueba deben ser independientes entre sí.
La información de un ítem no debe servir de pauta para contestar otra,
ni la respuesta a un ítem debe depender de haber encontrado primero la
de otra anterior.
2. Evitar los ítems que pueden contestarse por sentido común y aquellos
cuya respuesta dependa únicamente de recordar un término, un
símbolo, un dato o la fecha en que ocurrió un evento.
3. Evitar expresiones rebuscadas que puedan confundir. Se recomienda
emplear un lenguaje directo, sencillo y comprensible.
4. Los ítems no deben tener juicios de valor explícitos o implícitos.
REGLAS SOBRE LOS ENUNCIADOS1. Los enunciados deben ser afirmativos, en caso de ser necesaria la
negación, se debe resaltar para llamar la atención hacia la formulación
negativa. La doble negación afecta la comprensión (“No es cierto que no
procedan los recursos”).
2. Evitar enunciados demasiado extensos y poco atractivos ya que
desmotivan la lectura, disminuyen el tiempo de respuesta y fatigan.
3. Garantizar la coherencia interna del enunciado y de este con las
opciones de respuesta.
A. Clasificación de los ítems según su forma.a. Composición de un ítems
Los test psicométricos se componen de una serie de ítems.
En los test de las pruebas de ejecución máxima u optima los ítems
puede ser variados de acuerdo a lo que se quiere medir.
b. Número de ítems
Como regla general se considera que el número mínimo de ítems para
evaluar un constructo seria de 10 ítems, pero el numero puede ir desde
los 10 a 90, de manera que puedan abarcar de forma proporcional cada
una de las dimensiones definidas , a priori en el constructo. Se
recomienda realizar el doble de ítems de los que van a necesitarse en la
versión definitiva del cuestionario.
c. Puntuación de los ítems Esta en función al numero de opciones o tipo de respuestas:
Dicotómicas: SI/NO. Verdadero/Falso
Politómicas: Opción múltiple.
La puntuación puede ser simple o ponderado. Se dice que son ítems
simple cuando la puntuación directa se obtiene con el sumatorio de
respuestas acertadas o de los valores que se hayan dado en cada
opción. Se habla de ítems ponderados cuando el valor de cada opción
de respuesta no es la misma o no se otorga el mismo valor a todos los
aciertos.
4. EL ITEMUn ítem es cada una de las partes individuales que conforman un conjunto. En
este sentido, en un documento escrito, el ítem se refiere a cada uno de los
artículos o capítulos en que este se subdivide. Por extensión, como ítem
también se conoce cada una de las unidades en que se dividen listas,
formularios, pruebas o test.
La palabra ítem, como tal, proviene del latín ítem, y significa ‘del mismo modo’
o ‘también’. De allí que ítem también pueda emplearse, en registros de habla
muy formal, para expresar una adición o una añadidura que se hace sobre
algo.
En este sentido, ítem es equivalente a ‘además’ o ‘también’. Por esta razón, en
textos antiguos de carácter jurídico o de un nivel muy culto, ítem era usado
para añadir indicar que se estaba añadiendo información a un escrito. Del
mismo modo, la expresión “ítem más” se utiliza para significar ‘además’.
Es la unidad básica de observación de una prueba objetiva. Se utiliza para
medir conocimientos formales, habilidades cognitivas adquiridas a través de la
experiencia y aprendizajes complejos producto de las dos primeras. No
requiere de juicios personales del evaluador o de interpretaciones para calificar
las respuestas correctas. Posee una respuesta única previamente establecida
y acordada de manera colegiala.
4.1. COMPONENTES:
El ítem se integra por:
La base o cuerpo: Expresa una situación o problema en forma de
proposición.
Las opciones de respuesta: Son alternativas de respuesta a la base, de
las cuales solo una es correcta; las demás son distractores plausibles que
tienen como función que el examinado demuestre que es capaz de
discriminar la respuesta correcta.
Las argumentaciones: Son explicaciones que dan sustento a cada una de
las opciones de respuesta.
CARACTERISTICAS:
Evalúa contenidos vigentes.
Es una creación original del elaborador.
Mide contenidos que no se responden por sentido común.
Emplea situaciones comprensibles y un vocabulario adecuado para la
población objetivo.
Está libre de información que puede ser ofensiva para algún grupo
social.
No favorece a un grupo determinado.
No da pistas que conduzcan a la respuesta correcta.
Presenta estímulos claros que no se presten a más de una
interpretación.
Incluye únicamente la información necesaria y relevante para el
planteamiento del problema y su solución.
Está redactado de forma clara.
Es independiente de otros ítems, la información contenida en uno no
debe sugerir la solución ni debe ser requisito para contestar otro.
Utiliza opciones de respuesta distintas a las de otros ítems.
4.2. TIPOS DE ITEM POR SU RESPUESTA
Alternativa diferenciada: Con base en el cuerpo del ítem sólo una
opción es la correcta, las demás son distractores plausibles.
Respuesta optima: En la base de muestra el problema a ser resuelto en
donde las opciones de respuesta son parcialmente correctas, pero una
de ellas es más adecuada que las demás.
4.3. VALIDACION DE ITEMS
Es el proceso en el cual los ítems son sometido a una valoración
cualitativa en la que, a juicio de un trabajo colegiado asignado a un
grupo (dos o tres expertos), determinan a través de ciertas rubricas si
son pertinente y relevantes para los propósitos del examen; vigilan que
estén libres de errores conceptuales, gramaticales o de redacción.
Asimismo, determinan la complejidad de manera a priori del ítem y que
estos no sean respondidos por sentido común. Al finalizar dictaminan si
son aprobados, candidatos a ser aceptados condicionados a
modificaciones o descartados.
5. CONSTRUCCION PROVICIONAL DE UN CUESTIONARIOEl cuestionario consiste en un conjunto de preguntas, normalmente de varios
tipos, preparado sistemática y cuidadosamente, sobre los hechos y aspectos
que interesan en una investigación o evaluación, y que puede ser aplicado en
formas variadas, entre las que destacan su administración a grupos o su
envío por correo.
La finalidad del cuestionario es obtener, de manera sistemática y ordenada,
información acerca de la población con la que se trabaja, sobre las variables
objeto de la investigación o evaluación. Al utilizar esta técnica, el evaluador y
el investigador, tienen que considerar dos caminos metodológicos generales:
estar plenamente convencido de que las preguntas se pueden formular con la
claridad suficiente para que funcionen en la interacción personal que supone
el cuestionario y dar todos los pasos posibles para maximizar la probabilidad
de que el sujeto conteste y devuelva las preguntas.
5.1. TIPOS DE PREGUNTAS A UTILIZAR EN UN CUESTIONARIO:
Para obtener la información deseada es necesario recurrir a varios tipos de
preguntas:
5.1.1. Según el modo de formularse, las preguntas pueden ser
cerradas y abiertas.
Las cuestiones cerradas ofrecen al usuario que va a ser evaluado todas
las alternativas posibles, o al menos todas aquellas que mejor responden
a la situación que deseamos conocer. El sujeto no tiene sino elegir alguna o algunas, poniendo una señal convenida: una cruz, rodear con
un círculo, subrayar.... Suelen ser preguntas con la opción afirmativa y
negativa, y, a veces, no sé/sin opinión. Ejemplo nº 1:
¿Tiene en su domicilio acceso a Internet? Sí ( ) No ( )
En otras ocasiones las preguntas están categorizadas. Al usuario se le da
a elegir entre un abanico de opciones. Ejemplo nº 2:
¿Cuántos habitantes tienen la ciudad donde vive?
Menos de 2.000. ( ) De 2.001 a 5.000 ( ) De 5.001 a 10.000 ( )
De 10.001 a 20.000 ( ) De 20.001 a 50.000 ( ) De 50.001 a 100.000 ( )
De 100.001 a 200.000 ( ) De 200.001 a 1.000.000 ( ) Más de 1.000.000 ( )
Las respuestas o categorías que se ofrezcan a este tipo de preguntas han
de reunir dos condiciones esenciales: que sean exhaustivas y
excluyentes. 4 Las categorías o respuestas serán exhaustivas si abarcan
todos los casos que pueden darse. En ese caso, ningún encuestado
puede dejar de responder por no encontrar su categoría. Y serán
excluyentes, cuando ningún sujeto al contestar al cuestionario, pueda
elegir válidamente dos respuestas distintas de la misma pregunta.
Algunas preguntas se presentan bajo una escala cuantitativa,
correspondiente al número de veces que se repite una acción
determinada. En este caso es conveniente elegir un número par de
opciones, cuatro o seis, con objeto de evitar que el encuestado puede
responder a la opción central, sin esforzarse en reflexionar. Así ocurre en
el ejemplo nº 3.
En las clases teóricas del curso de formación que está haciendo, ¿toma
apuntes o notas de lo que dice el monitor o formador?
Nunca ( ) Pocas veces ( ) Con frecuencia ( ) Siempre ( )
Las preguntas abiertas no ofrecen ninguna categoría para elegir. Sólo
contienen la pregunta y no ofrecen ningún tipo de respuesta, dejando ésta
a la consideración del sujeto que completa el cuestionario. Ejemplo nº 4:
¿Qué le parecen las Unidades Didácticas de Evaluación que tiene en sus
manos?
5.1.2. Preguntas de hecho y opinión. Según la naturaleza del contenido
de las preguntas éstas pueden ser: de hecho, de opinión, de
identificación, de acción, de información, de intención, de aspiraciones, de
expectativas ante el futuro, y de motivaciones y creencias y actitudes.
Según la realidad que intentan descubrir las preguntas pueden
clasificarse en preguntas sobre hechos y preguntas sobre opiniones.
Las preguntas de hechos solicitan información que el encuestado suele
conocer mejor que nadie y que no admite dudas. No obstante, algunos
hechos como la “edad”, ítem frecuente en muchos cuestionarios, puede
necesitar ser contrastado con otras fuentes documentales, por un posible
interés en no ser veraz en el dato. No obstante, hay hechos que no
pueden ser contrastados, porque sólo conoce el sujeto. Veamos el
ejemplo nº 5:
¿Cuantas veces a la semana consulta en su casa el material didáctico
que le han entregado en el curso?
Ninguna ( ) Alguna vez ( ) Tres/cuatro veces ( ) Diariamente ( )
Las preguntas más frecuentes son las de opinión y éstas, a su vez, se
concretan en una amplia gama: preguntas para descubrir las creencias,
las preferencias y las estimaciones. Estas preguntas son muy frecuentes
en las investigaciones sociológicas de los medios de comunicación y las
casas comerciales con objeto de consultar los gustos del público, para
observar el grado de aceptación de sus productos y reorientarlos de
acuerdo con la demanda de la audiencia. En la evaluación de programas
este tipo de preguntas pueden ser muy importantes con vistas a conocer
las expectativas de los usuarios con respecto al programa, la satisfacción
con el mismo, la opinión que les merecen los monitores de formación o su
metodología, etc.
5.1.3. Según su finalidad se puede hablar de preguntas directas e indirectas.
En los ítems de hecho y en los de opinión, hay que tener en cuenta la
posible negativa del sujeto o su deseo de deformar su propia imagen y
hacerla coincidir con las expectativas del evaluador de un programa, o
simplemente trate de ocultar una realidad que no desea dar a conocer.
Una misma encuesta, sobre temas económicos, puede concluir resultados
diferentes si se piensa que hay motivaciones relacionadas con los
impuestos o se refieren a una situación de catástrofe, por ejemplo, donde
se piensa que el individuo pudiera recibir beneficios.
5.2. CONSTRUCCIÓN DEL CUESTIONARIO.La construcción de un cuestionario es una tarea cuidadosa y compleja.
Cuidadosa porque de la perfección con que se haga dependerá, en buena
parte, el éxito de la evaluación o de la investigación. Su complejidad radica en
la dificultad que supone expresar en indicadores concretos los aspectos de la
realidad (variables), que sean significativos en relación con el objeto de esa
evaluación o investigación. A esta dificultad se le suman otros problemas, entre
los que destacan los lingüísticos y psicológicos.
El carácter sistemático y complejo que supone la construcción de un
cuestionario, nos lleva a concluir que el formador de formadores habrá de
considerar, siempre que sea posible, que su elaboración sea una tarea de equipo, por ejemplo dentro de RR.HH.
En los planes y proyectos de formación hay algunos procesos que pueden
evaluarse directamente, los que son de orden físico. Por ejemplo, el número de
piezas a la hora, que un obrero realiza con un dispositivo automatizado, antes y
después de un programa de formación sobre la utilización de esa máquina.
Pero la mayoría de los aspectos que abarca la formación requieren de una
evaluación indirecta, a través de indicadores, descriptores o atributos. La
dificultad fundamental para evaluar un programa de formación, a través de un
cuestionario, radica en hacer la traducción de las variables empíricas, sobre las
que deseamos obtener información, a preguntas concretas sobre ese programa
o proceso de formación implementado en una empresa concreta; y al mismo
tiempo, hacer que esas preguntas sean capaces de suscitar respuestas
sinceras y claras. Partiendo de ese supuesto, el formador de formadores ha de
ser consciente de las etapas básicas que se pueden distinguir en la
preparación del cuestionario:
La secuencia que suele seguirse al elaborar un cuestionario es la siguiente:
- Determinar con precisión qué tipo de información necesitamos,
- seleccionar los aspectos más relevantes para obtenerla,
- decidir la modalidad del cuestionario más adecuada,
- efectuar una primera redacción,
- someterla a crítica por algunos expertos,
- ponerla a prueba con un grupo experimental,
- reelaborarla y establecer los procedimientos para su aplicación.
Sierra Bravo, sintetiza estas fases en: formulación de hipótesis, determinación
de variables a observar, con sus dimensiones e indicadores, y planificación del
contenido del cuestionario.
Formulación de objetivos. La formulación de hipótesis, sólo tiene razón de
ser en los cuestionarios de recogida de datos para una investigación
experimental. En la evaluación de un Programa de Formación hemos de hablar
de objetivos y haría referencia a prever el sentido y utilidad del cuestionario, a
decidir lo que se va a buscar con cada pregunta, lo que se pretende saber o
conocer a través del citado cuestionario.
Un cuestionario supone un intento de recoger toda la información necesaria y
relevante acerca del Programa de formación que pretendemos evaluar; pero
sólo la necesaria. “Si se comienza la evaluación por la construcción del
cuestionario, sin haber precisado claramente los objetivos de la evaluación,
podemos incluir muchos elementos que supongan un esfuerzo baldío e incluso
perjudiciales, porque pueden restar claridad a las variables investigadas”.
Determinación de las dimensiones, variables e indicadores.Desde el punto de vista de la investigación social, “las preguntas de un
cuestionario son la expresión, en forma interrogativa de las variables empíricas,
o indicadores respecto de los cuales interesa obtener información”. (González
Río, 1997)
En cualquier trabajo de investigación o de evaluación es necesario hacer
operativas las variables sobre las que vamos a recabar información. Cuando
trabajamos con variables en un proceso de investigación descriptiva, o de
evaluación, solemos operativizarla en dimensiones, (para algunos autores
categorías), variables e indicadores de esta variable. Dimensiones que suelen
estar presentes en casi todos los cuestionarios son: la edad, sexo, estudios,
profesión, etc. A ellas hay que sumarle las categorías específicas relacionadas
con el tema de evaluación.
Planificación del contenido del cuestionario.Al planificar el contenido del cuestionario se pretende:
la especificación del tipo de preguntas más adecuadas, cerradas,
categorizadas, etc., para obtener de la población encuestada los datos
o informaciones que señalan los indicadores establecidos;
las categorías, en su caso, que más convengan a cada pregunta y a
los objetivos que se persiguen con ellas.
La determinación del número de preguntas y de su orden y disposición dentro del cuestionario.
Las decisiones a tomar sobre los dos primeros pasos han de tener en cuenta:
lo que se pretende conocer con cada ítem, las características de la población
estudiada, la naturaleza y aplicaciones de cada pregunta, y la forma de
aplicación del cuestionario (aplicación grupal, por correo o mediante entrevista).
Las preguntas o ítems categorizados hay que agruparlos y sistematizarlos en
tablas. A cada respuesta ha de corresponder una columna, por ello es
conveniente tener en cuenta, en la planificación del cuestionario, que un
número excesivo de respuestas da lugar a tablas difíciles de comprender por
los sujetos a los que va destinado el cuestionario.
En cuanto al número de ítems que debe de contener un cuestionario, el
formador de formadores habrá de considerar que aquél deberá de tener todas
las preguntas necesarias, pero “ni una más”. Es “recomendable hacer
solamente las preguntas necesarias para obtener la información deseada o
medir la variable”. “Si es muy corto se pierde información si resulta largo puede
resultar tedioso”.
Un cuestionario largo, salvo que sea absolutamente necesario, produce fatiga y
rechazo en el sujeto que lo completa, con el riesgo añadido que se quede
incompleto o se conteste sin la debida reflexión.
Se suele considerar que 30 ítems es un tamaño ideal y que a medida que nos
alejamos de él presenta mayores inconvenientes. No obstante, cuando las
preguntas sean fáciles y puedan responderse con un «sí» o un «no», se puede
incrementar notablemente aquel número; que pueden sobrepasar la centena.
Por el contrario, “las preguntas abiertas, muy pocas, fundamentales y
verdaderamente reveladoras, son suficientes”.
En cuanto al tiempo empleado en contestar al cuestionario, la literatura
científica suele recomendar la regla de “que pueda ser contestado entre media
y una hora”, ello se debe a que se suelen aplicar a grupos, utilizando módulos
horarios de la educación formal o de la formación en la empresa. Si se aplica
por correo, conviene reducir notablemente ese tiempo.
Es conveniente que el formador de formadores tenga presente que el número
de ítems y el tiempo empleado en su completamiento dependen del grado de
información de que disponga el usuario de formación y del interés que tenga en
participar en completar el cuestionario.
5.3. ELABORACIÓN DEL CUESTIONARIO.La elaboración formal del cuestionario abarca dos aspectos básicos: la
redacción de las preguntas y la determinación de los aspectos formales del
cuestionario.
Redacción de las preguntas.Una vez definida la estructura del cuestionario se puede comenzar con la
redacción de las preguntas. Es el momento decisivo, y el que lleva más tiempo
y condiciona más la evaluación o la investigación.
La forma de redactar la pregunta depende de la cuestión que investiguemos,
de la preparación que posea la población a encuestar, del tratamiento
estadístico programado, así como del modo de aplicación. La redacción de las
preguntas, según la tesis defendida por Sudman y Bradburn (1982), es el
elemento esencial para maximizar la validez de los datos obtenidos en la
evaluación o en la investigación por encuesta. De hecho, se sabe que cambios
aparentemente pequeños en la redacción de las preguntas pueden causar
grandes diferencias en los diversos porcentajes de respuestas a la misma.
Reglas para la formulación de preguntas:Se consideran reglas básicas de esta redacción: que no se pierdan nunca de
vista los objetivos de la investigación y que, previamente a la formulación de
cada pregunta, nos preguntemos sobre la necesidad y oportunidad de la
misma, y sobre el grado en que nos servirá para lograr los objetivos
propuestos. (Sierra Bravo, 1988: 317)
Una pregunta está bien formulada cuando no ejerce influencia en el sentido de
la respuesta y no incita a una respuesta inexacta, que no corresponde con la
información buscada.
Determinación de los aspectos formales del cuestionario.Todo cuestionario suele constar de una serie de datos sobre la persona que
lo cumplimenta, que constituyen una serie de categorías a tener en cuenta en
la evaluación del programa de formación: edad, sexo, nivel educativo,
profesión, lugar de residencia, clase social e ingresos y todas las categorías
necesarias para la identificación educativa y social de encuestado.
Nunca ha de figurar el nombre, como garantía para mantener el anonimato del
cuestionario. En algunas ocasiones, las preguntas se refieren a otros: familia,
compañeros de trabajo y/o formación, vecinos, miembros de asociaciones a las
que pertenece, etc.
Es importante que antes de comenzar a responder el cuestionario figuren las
instrucciones de cómo se han de ir cumplimentando las respuestas.
Según Zarkowich, son tan importantes como el cuestionario, puesto que
suponen el medio para obtener una normalización de las respuestas recogidas
y de evitar la introducción de elementos subjetivos en las mismas.
Las instrucciones se deben redactar con gran claridad y esmero. Se ha de
procurar que sean autosuficientes, resolviendo todas las dudas que pudieran
plantearse. Sobre todo ha de cuidarse que no induzcan a la confusión, para
evitar una posible causa de sesgo. En estas instrucciones es necesario incluir
las advertencias, que se consideren necesarias o convenientes realizar sobre
la forma general de cumplimentar el cuestionario y de consignar las respuestas,
según los distintos tipos de preguntas que comprenda. Hernández Sampieri33
y otros (2000) ofrecen ejemplos ilustrativos, al respecto.
5. ELABORACIÓN DE UNA PRUEBA La elaboración de una nueva prueba es tanto una ciencia como un arte. El
responsable de su desarrollo debe elegir estrategias y materiales, y luego
tomar cada día decisiones de investigación que van a influir en la calidad del
instrumento resultante.
La elaboración de pruebas consta de seis etapas entrelazadas:
1. Definición de la prueba
2. Elección del método de escalamiento
3. Elaboración de los reactivos
4. Análisis de los reactivos
5. Revisión de la prueba
6. Publicación de la prueba
Fuente: Gregory, R. (2012). Pruebas psicológicas.
5.1. DEFINICION DE LA PRUEBA Para elaborar una nueva prueba, su creador debe tener una idea clara de lo
que esta debe medir y en qué debe diferenciarse de los instrumentos
existentes. Puesto que la medición psicológica está entrando en su segundo
centenario y se han publicado miles de pruebas, es claro que la labor de
demostrar que el instrumento propuesto es diferente y mejor que los ya
existentes recaen sobre los creadores.
5.2. ELECCION DEL METODO DE ESCALAMIENTOEl propósito inmediato de la medición psicológica es asignar números a las
respuestas en una prueba de modo que pueda juzgarse si el examinado
posee la característica medida en mayor o menor grado. Las reglas por
medio de las cuales se asignan números a las respuestas definen el método
de escalamiento. Los constructores de las pruebas seleccionan un método
de escalamiento que se adapte de manera óptima a la forma en que
conceptualizaron el rasgo o rasgos medidos por su instrumento.
Ningún método de escalamiento es invariablemente mejor que los otros.
Para algunos rasgos, la clasificación ordinal de jueces expertos puede ser el
mejor método de medición; para otros rasgos, el escalamiento complejo de
los datos de autoinforme tal vez produzca las mediciones más válidas.
5.2.1. METODOS DE ESCALAMIENTO REPRESENTATIVOS
5.2.1.1. Ordenamientos de expertosSuponga que deseamos medir la profundidad del estado de coma
en pacientes que sufrieron una lesión encefálica reciente que los
dejó inconscientes. Una escala de profundidad del estado de
coma sería muy importante para predecir el curso de la mejoría,
porque es bien sabido que un periodo prolongado de inconciencia
entraña un mal pronóstico para la recuperación final. Además, el
personal de rehabilitación tiene la necesidad práctica de saber si
un paciente está sumido en un coma profundo o en un estado
parcialmente comunicativo de semi conciencia.
Una aproximación al escalamiento de la profundidad del coma
sería confiar en los ordenamientos conductuales de los expertos.
Ello a través de la Escala de Coma de Glasgow que se califica
observando al paciente y asignando el nivel más alto de
funcionamiento en cada una de tres subescalas. En cada
subescala se supone que el paciente exhibe todos los niveles de
conducta por debajo del nivel calificado. Por consiguiente, desde
el punto de vista psicométrico, la escala consta de tres subescalas
(ojos, respuesta verbal y respuesta motriz), cada una de las
cuales produce una clasificación ordinal de la conducta.
Fuente: Gregory, R. (2012). Pruebas psicológicas.
5.2.1.2. Escalas LikertLikert (1932) propuso un método sencillo para el escalamiento de
actitudes que todavía se utiliza ampliamente en la actualidad. Una
escala Likert presenta al examinado cinco respuestas ordenadas
sobre un continuo de acuerdo/ desacuerdo o de
aprobación/desaprobación. Por ejemplo, un reactivo de una
escala que evalúa las actitudes hacia la pertenencia a la iglesia
podría decir:
“Los servidos religiosos me dan inspiración y me ayudan para dar
lo mejor de mí durante la siguiente semana.”
Está usted:
Dependiendo de la redacción de un reactivo individual, una
respuesta extrema de “totalmente de acuerdo” o “totalmente en
desacuerdo” indicará la respuesta más favorable en la actitud
subyacente medida por el cuestionario.
Likert (1932) asignó una puntuación de 5 a esta respuesta
extrema, 1 al extremo opuesto, y 2, 3 y 4 a las respuestas
intermedias. Para obtener la puntuación total de la escala se
suman las puntuaciones de los reactivos individuales, de ahí que
una escala Likert se conoce también como una escala sumativa.
5.2.1.3. Escalas de GuttmanEn una escala de Guttman los participantes que apoyan una
afirmación también coinciden con afirmaciones más moderadas
relacionadas con el mismo continuo subyacente (Guttman, 1947).
Por consiguiente, si se conoce la afirmación más extrema del
continuo con que puede coincidir un examinado, también es
posible reconstruir las respuestas intermedias. Las escalas de
Guttman se producen por medio de la selección de reactivos que
caen en una secuencia ordenada en términos del aval que reciben
del examinado. Los errores de medición hacen difícil obtener una
escala de Guttman perfecta, pero aun así es una meta adecuada
para ciertos tipos de prueba.
Por ejemplo, Beck utilizó el escalamiento tipo Guttman para
producir los reactivos individuales de su inventario de depresión
(Beck Depression Inventory, BDI; Beck, Steer y Garbin, 1988).
Los reactivos del inventario de Beck son parecidos a los
siguientes:
( ) A veces me siento triste o melancólico.
( ) A menudo me siento triste o melancólico.
( ) La mayor parte del tiempo me siento triste o melancólico.
( ) Siempre me siento triste y no puedo soportarlo.
Se pide a los clientes que “en cada grupo marquen la afirmación
que sientan que mejor los describe”. Es casi seguro que un cliente
que muestra su aprobación por la alternativa extrema (por
ejemplo, “Siempre me siento triste y no puedo soportarlo”)
también estará de acuerdo con afirmaciones más moderadas.
5.2.2. ELABORACIÓN DE LOS REACTIVOSLa elaboración de los reactivos es un procedimiento arduo y laborioso que
pone a prueba la creatividad de los constructores de las pruebas. El
redactor de los reactivos se confronta con una gran cantidad de preguntas
iniciales:
• ¿El contenido de los reactivos debe ser homogéneo o variado?
• ¿Qué rango de dificultad deben abarcar los reactivos?
• ¿Cuántos reactivos iniciales deben elaborarse?
• ¿Qué procesos cognoscitivos y dominios de los reactivos deben
utilizarse?
• ¿Qué tipo de reactivos de examen deberán usarse?
5.2.2.1. Preguntas iniciales en la elaboración de la pruebaLa primera pregunta se refiere al tema de la homogeneidad contra la
heterogeneidad del contenido del reactivo. En gran medida, la
homogeneidad o diversidad del contenido depende de cómo haya definido
el creador de la prueba el nuevo instrumento. Considere una prueba de
inteligencia general con una carga cultural reducida; dicho instrumento
podría incorporar reactivos variados en la medida que las preguntas no
supongan una educación específica. El creador de la prueba podría tratar
de incluir nuevos problemas que sean igualmente desconocidos para todos
los examinados. Por otro lado, con una prueba de pensamiento espacial
basada en una teoría, se requerirían sub pruebas en que los reactivos
tengan un contenido homogéneo.
El rango de dificultad de las preguntas debe ser suficiente para permitir la
diferenciación significativa de los examinados en ambos extremos. Por
ende, las pruebas más útiles son las que incluyen una serie graduada de
reactivos muy sencillos que puedan ser aprobados casi por todos, así como
un grupo de reactivos gradualmente más difíciles que casi nadie pueda
aprobar. Se observa un efecto de límite superior cuando grandes
cantidades de examinados obtienen puntuaciones perfectas o casi
perfectas. El problema con un efecto de límite superior es que no es
posible distinguir entre los examinados con altas puntuaciones, aunque
estos presenten diferencias considerables en el rasgo subyacente que
mide la prueba.
Se observa un efecto de límite inferior cuando cantidades significativas de
examinados obtienen puntuaciones cercanas en la parte inferior, o cerca de
la parte inferior, de la prueba. Po r ejemplo, la escala WAIS-R poseía u n
grave efecto de límite inferior ya que no lograba discriminar entre los
niveles moderado, grave y profundo de retraso mental: todas las personas
con discapacidades graves del desarrollo eran incapaces de responder
prácticamente todas las preguntas.
5.2.2.2. La tabla de especificacionesLos diseñadores profesionales de pruebas de aprovechamiento y capacidad
suelen utilizar uno o más esquemas de redacción de reactivos para
asegurar que su instrumento tome en consideración una mezcla de
procesos cognoscitivos y dominios de contenido. Por ejemplo, un esquema
muy simple de redacción podría indicar que una prueba de
aprovechamiento sobre la Guerra Civil estadounidense debería constar de
10 reactivos de opción múltiple y 10 preguntas de completamiento, la mitad
de cada tipo sobre cuestiones factuales (por ejemplo, fechas, batallas
importantes) y la otra mitad sobre temas conceptuales (por ejemplo,
diferentes perspectivas sobre la esclavitud).
Antes de iniciar el desarrollo de una prueba, los redactores suelen recibir
una tabla de especificaciones, la cual especifica la información y las tareas
cognoscitivas en que debe evaluarse a los examinados. Es posible que la
tabla de especificaciones más común sea la matriz de contenido por
proceso, la cual incluye el número exacto de reactivos en áreas relevantes
de contenido y detalla la combinación precisa de reactivos que debe
ejemplificar diferentes procesos cognoscitivos (MÜlman y Greene, 1989).
Al proporcionar una tabla de especificaciones antes de la etapa de
redacción de los reactivos, el creador de la prueba puede garantizar que el
instrumento resultante contenga un equilibrio apropiado de la cobertura de
temas y que toque el rango deseado de habilidades cognoscitivas. (Ver
tabla)
Fuente: Gregory, R. (2012). Pruebas psicológicas.
5.2.2.3. Formatos de los reactivosCuando se trata del método por el cual deben evaluarse los atributos
psicológicos, el creador de la prueba se enfrenta a docenas de opciones.
En el caso de las pruebas grupales de inteligencia o de aprovechamiento, la
técnica preferida es la pregunta de opción múltiple. Por ejemplo, un reactivo
de una prueba de aprovechamiento sobre la historia estadounidense podría
incluir esta combinación de planteamiento y opciones:
¿Quién era el presidente de Estados Unidos durante la Guerra Civil?
a) Washington
b) Lincoln
c) Hamilton
d) Wilson
Los defensores de la metodología de opción múltiple sostienen que los
reactivos bien elaborados pueden medir no solo el conocimiento factual sino
también el conceptual. Además, las pruebas de opción múltiple permiten la
calificación rápida y objetiva con la ayuda de una máquina. Por otro lado, la
equidad de las preguntas de opción múltiple puede demostrarse (o en
ocasiones refutarse) con procedimientos muy sencillos de análisis de
reactivos que vamos a revisar más adelante. Las principales desventajas de
las preguntas de opción múltiple son, primero, la dificultad de escribir
buenas opciones distractoras y, segundo, la posibilidad de que la presencia
de la respuesta pueda llevar a la respuesta correcta a un examinado con u
n conocimiento insuficiente. En la tabla 4.6 se presentan pautas para la
redacción de buenos reactivos de opción múltiple.
Fuente: Gregory, R. (2012). Pruebas psicológicas.
Las preguntas de aparejamiento son comunes en la evaluación dentro
del aula, pero presentan graves deficiencias psicométricas. El siguiente
es un ejemplo de una pregunta de aparejamiento:
Utilice las letras presentadas a la izquierda para relacionar el nombre
con su logro:
El problema más grave de las preguntas de aparejamiento es que las
respuestas no son independientes: fallar en una relación por lo general
induce al examinado a fallar en otra. Otro problema es que en una
pregunta de aparejamiento las opciones deben estar estrechamente
relacionadas o la pregunta será demasiado sencilla.
Para las pruebas de aplicación individual el procedimiento preferido es el
reactivo objetivo de respuesta corta. De hecho, los tipos más simples de
preguntas suelen poseer la mayor confiabilidad y validez. Un buen
ejemplo es la subprueba de Vocabulario de la WAIS-IV, la cual consiste
simplemente en pedir al examinado que defina palabras. Esta subprueba
tiene una confiabilidad muy alta (.96) y suele considerarse la mejor
medida individual de la inteligencia general en la prueba.
Las pruebas de personalidad suelen utilizar preguntas de verdadero o
falso porque resultan sencillas de entender para los sujetos. A la
mayoría de la gente le resulta sencillo responder reactivos de verdadero
o falso como el siguiente:
V F
----- ----- Me gustan las revistas deportivas.
Los críticos de este método han señalado que las respuestas a dichas
preguntas pueden reflejar más la deseabilidad social que los rasgos de
personalidad (Edwards, 1961).
Un formato alternativo diseñado para contrarrestar este problema es la
metodología de elección forzada en que el examinado debe elegir entre
dos opciones igualmente deseables (o indeseables).
¿Qué preferiría hacer?
_____ Limpiar un galón de almíbar del piso.
_____ Ofrecerse como voluntario a pasar medio día en un asilo.
Aunque el método de elección forzada tiene muchas propiedades
psicométricas deseables, los creadores de las pruebas de personalidad
no se han apresurado a adoptar esta interesante metodología.
5.2.3. ANÁLISIS DE LOS REACTIVOSLos psicólogos esperan que muchos de los reactivos del conjunto original
sean descartados o corregidos a medida que avanza el desarrollo de la
prueba. Por esta razón, los creadores de las pruebas al principio elaboran
muchos reactivos de más, tal vez el doble del número que pretenden usar.
¿Cómo se selecciona entonces la muestra final de preguntas a partir del
conjunto inicial de reactivos? Quienes elaboran la prueba usan el análisis de
reactivos, un conjunto de procedimientos estadísticos, para identificar
cuáles son los mejores. En general, el objetivo de dicho análisis es
determinar qué reactivos deberían conservarse, cuáles hay que corregir y
cuáles deben eliminarse. Al realizar un análisis cuidadoso de los reactivos,
el creador de la prueba puede utilizar los índices de dificultad, de
confiabilidad y de validez del reactivo, así como la curva característica y el
índice de discriminación del mismo.
5.2.4. REVISIÓN DE LA PRUEBA El siguiente paso en el desarrollo de la prueba consiste en reunir nuevos
datos de una segunda muestra. Desde luego, esos examinados deben ser
similares a aquellos a quienes se dirige en última instancia el instrumento.
El objetivo de recabar datos adicionales es repetir los procedimientos de
análisis de reactivos. Si los nuevos cambios son ajustes menores, el
creador de la prueba puede decidir que esta es satisfactoria y que se
encuentra lista para un estudio de validación cruzada, un asunto que se
analiza en la siguiente sección. Si se requieren cambios importantes, es
deseable recabar datos de una tercera e incluso de una cuarta muestras.
Pero en cierto punto deben concluir los ajustes psicométricos; el creador
debe proponer un instrumento terminado y proceder al siguiente paso, la
validación cruzada.
5.2.4.1. Validación cruzadaCuando se utiliza una muestra para determinar si una prueba posee
validez relacionada con el criterio, la evidencia es bastante preliminar y
tentativa. En el desarrollo de una prueba es prudente buscar una
confirmación nueva independiente de la validez del instrumento antes de
proceder a su publicación. El término validación cruzada se refiere a la
práctica de usar la ecuación de regresión original en u n a nueva
muestra para determinar si la prueba predice el criterio tan bien como lo
hizo en la muestra original. Ghiselli, Campbell y Zedeck (1981) describen
la razón de la validación cruzada:
Ya sea que los reactivos sean elegidos con base en una clave
empírica o que sean corregidos o ponderados, los resultados
obtenidos deben considerarse específicos de la muestra usada
para el análisis estadístico, a menos que se recaben datos
adicionales. Esto es necesario porque probablemente los
resultados hayan obtenido provecho de los factores de azar que
operaban en ese grupo y, por ende, solo sean aplicables a la
muestra estudiada.
5.2.5. PUBLICACIÓN DE LA PRUEBAEl proceso de elaboración de la prueba no termina con la obtención de los
datos de validación cruzada. El creador del instrumento también debe
supervisar la producción de los materiales de evaluación, publicar un
manual técnico y redactar el manual del usuario.
5.2.5.1. Producción de los materiales de evaluaciónLos materiales de evaluación deben ser sencillos de usar si se
pretende que sean aceptados por psicólogos y educadores. Por
consiguiente, una primera sugerencia para la producción de la
prueba es que la presentación física de los materiales permita una
aplicación rápida y sin complicaciones.
5.2.5.2. Manual técnico y manual del usuarioLos datos técnicos acerca de un nuevo instrumento por lo general
se resumen con las referencias apropiadas en un manual técnico.
El posible usuario puede encontrar aquí información acerca de los
análisis de reactivos, la confiabilidad de las escalas, los estudios
de validación cruzada y asuntos semejantes. En algunos casos
esta información se incluye en el manual del usuario, el cual,
además de d a r las instrucciones para la aplicación, ofrece
directrices para la interpretación de la prueba.
Los manuales de la prueba cumplen muchos propósitos, como se
explica en los Estándares para la evaluación educativa y
psicológica (AERA, APA y NCME, 1985,1999). El manual de estos
influyentes Estándares sugiere que los manuales de las pruebas
cumplan las siguientes metas:
Describir la base y los usos recomendados para la prueba.
Hacer advertencias específicas en contra de los usos
inadecuados de la prueba que se anticipan.
Citar estudios representativos concernientes a los usos
generales y específicos de la prueba.
Identificar cualificaciones necesarias para administrar e
interpretar la prueba.
Proporcionar las revisiones, las enmiendas y los
complementos necesarios.
Usar material de promoción que sea preciso y que se base en
la investigación.
Citar relaciones cuantitativas entre las puntuaciones obtenidas
en la prueba y los criterios.
Informar sobre el grado en que son intercambiables los modos
alternativos de respuesta (por ejemplo, folleto contra hoja de
respuestas).
Dar materiales interpretativos adecuados al examinado.
Proporcionar evidencia de la validez de cualquier
interpretación automatizada de la prueba.
Por último, los manuales de la prueba deben incluir los datos esenciales
sobre la confiabilidad y validez en vez de referir al usuario a otras
fuentes, una práctica desafortunada que se encuentra en los manuales
de algunas pruebas.
CONCLUSIONES
SUGERENCIAS
REFERENCIAS BIBLIOGRÁFICAS
Costa, N. K. M. (1996). Manual de pruebas de inteligencia y aptitudes. México:
Plaza y Valdés, S.A. de C.V.. Retrieved from http://www.ebrary.com
Gregory, R. (2012). Pruebas psicológicas. 1ª Edición en español. México:
Pearson Educación. p. 648
Martínez, A. M. R., & Hernández, L. M. V. (2014). Psicometría. España:
Larousse - Alianza Editorial. Retrieved from http://www.ebrary.com
Meneses, J. (2014). Psicometría. España: Editorial UOC. Retrieved from
http://www.ebrary.com
ENLACES WEBfile:///D:/Nueva%20carpeta/153484497-5-Elaboracion-Del-Pre-Test.pdf
http://biblio3.url.edu.gt/Libros/tests_p/2.1.pdf
http://23118.psi.uba.ar/academica/carrerasdegrado/psicologia/
informacion_adicional/obligatorias/059_psicometricas1/
tecnicas_psicometricas/archivos/f2.pdf
http://portal.fagro.edu.uy/docs/uensenia/Univ.%20Navarra%20_Pruebas
%20objetivas.pdfç