Curso Tutor de Teleformación -...

EVALUACIÓN EN TELEFORMACIÓN

MÓDULO 5

Curso Tutor de Teleformación

OBJETIVOS DEL MÓDULO

Diseñar y realizar las evaluaciones en función de los objetivos del curso, y haciendo uso de todas las posibilidades quelas herramientas nos ofrezcan, tanto en autoevaluaciones, evaluaciones teóricas, como prácticas.

UNIDADES DIDÁCTICAS DEL MÓDULO 5

5.1. Selección de los instrumentos de evaluación en teleformación.5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.5.3. Desarrollo de pruebas de evaluación abiertas para teleformación.5.4. La evaluación de actitudes en teleformación.5.5. La evaluación de la calidad de la teleformación.

Resumen del Módulo 4

Bibliografía del Módulo 4

EVALUACIÓN EN TELEFORMACIÓNMÓDULO 5

© Todos los derechos reservados. Prohibida su reproducción total y parcial


UD. 5.1. Selección de los instrumentos de evaluación en teleformación

MÓDULO 5

Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �

OBJETIVOS DE LA UNIDAD: · Distinguir correctamente las distintos tipos de evaluación· Establecer las diferencias entre medición y evaluación.· Diferenciar la evaluación con referencia a norma y criterio.· Determinar las condiciones para que la evaluación sea objetiva· Seleccionar adecuadamente instrumentos de evaluación en función de los objetivos a cumplir

CONTENIDOS:

5.1.1 Introducción

5.1.2 Diferencias entre medición y evaluación

5.1.3 Conceptos de “Norma y Criterio”.

5.1.4 Principios y funciones de la evaluación:5.1.4.1 Objeto de la evaluación5.1.4.2 Principios básicos de la evaluación5.1.4.3 Funciones de la evaluación

5.1.5 Enfoques y tipos de evaluación:5.1.5.1 Elección de los modelos evaluativos5.1.5.2 Tipos de evaluación

5.1.6 Evaluación objetiva vs evaluación subjetiva

5.1.7 Técnicas e instrumentos de evaluación según tipo de aprendizaje y objetivos

5.1.7.1 Requisitos de los instrumentos de evaluación:5.1.7.2 Pruebas de evaluación en e-learning.5.1.7.3 Los Criterios e Indicadores de Evaluación

5.1.8 La evaluación en teleformación, ventajas, inconvenientes y posibles aplicaciones

5.1.9 El Fraude y la suplantación

5.1.10 Conclusiones

Mapa Conceptual Módulo 5, Unidad 5.1


unidades a las que están asociados.

4. Para obtener la acreditación de las unidades de competencia, será necesario superar con evaluación positiva, en términos de apto o no apto, los módulos formativos a cada una de ellas.

5. El centro que imparta los módulos formativos co-rrespondientes a certificados de profesionalidad, de-berá entregar, en un plazo no superior a tres meses, el acta de evaluación y de los documentos donde se reflejen los resultados de la misma al Registro de las Administraciones laborales al que se refiere el artícu-lo 16, que será el responsable de su custodia.

El concepto de evaluación ha ido modificándose a tra-vés de los tiempos. A finales de los años 60 se tenía un enfoque experimental, poniendo un especial énfasis en la precisión de la medición y en la aplicación de prue-bas empíricas para comprobar hipótesis. Se aplicaban modelos cuasi experimentales en las investigaciones sociales para captar la relación causal entre los pro-yectos y sus resultados. A partir de los años 70 y hasta nuestros días, otros métodos y técnicas basados en la historia, etnografía, semiótica, antropología y so-ciología han tomado cuerpo y fuerza en los procesos evaluativos.

Se han introducido cambios en 4 áreas funda-mentales:

· Lo ético democrático; participación de todos los implicados.· El enfoque; recogiendo procesos además de productos.· Lo conceptual; teniendo en cuenta los imprevis-tos a lo largo del proceso formativo.· Lo metodológico; transición al pluralismo meto-dológico desde la rigidez formal.

5.1.2. DifErEnciaS EntrE mEDición y EvaLua-ción

Para situar en contexto el término “evaluación”, debe-mos distinguir previamente entre diferentes términos relacionados y utilizados de forma frecuente en For-mación.

medir: es el proceso de comparar para determinar el grado o la amplitud de alguna característica asociada a una persona u objeto.

· Medir implica hacer pruebas, aplicar exámenes, revisar resultados para obtener una calificación.· Los datos de las mediciones nos indican cuanto sabe el alumno. El qué sabe, cómo lo sabe y por qué lo ha aprendido nos lo dice la evaluación.

Evaluar: acto de comparar una medida con un es-tándar y emitir un juicio basado en la comparación. Su objetivo es la valoración del programa formativo en su totalidad; es una actividad sistemática integrada en el programa formativo, cuya finalidad es mejorar la misma mediante el conocimiento, lo más exacto po-sible, del alumnado y del proceso educativo, teniendo en cuenta los factores personales y ambientales que inciden en el mismo.

· La evaluación es un proceso continuo de recopila-ción e interpretación de la información para valorar las decisiones tomadas en el diseño de la acción formativa.· La evaluación empieza antes del curso y termina al final de éste.· El proceso de evaluación no deja nada al azar, está dirigida hacia la meta de mejorar la formación.· La evaluación precisa de métodos de medición exactos y adecuados para recoger la información.

Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�

5.1.1 introDucción.

En este módulo vamos a estudiar los diferentes tipos de evaluación, el establecimiento de criterios, selec-ción y creación de herramientas; todo ello enfocado a evaluar de forma competente nuestro trabajo y el aprendizaje de los alumnos, siempre de acuerdo con los objetivos formulados.

En el BOE n.27 de 31/1/2008, Real decreto 34/2008, de 18 de enero, por el que se regulan los certificados de profesionalidad, en su artículo 14 sobre la evaluación del aprendizaje, dice:

1. La evaluación del alumno se realizará de forma sistemática y continua, con objeto de comprobar los resultados del aprendizaje y en consecuencia, la adquisición de las competencias profesionales.

2. Esta evaluación será realizada por los for-madores que impartan las acciones formati-vas, a través de métodos e instrumentos que garanticen la fiabilidad y validez de la misma, tomando como referencia las capacidades y criterios de evaluación establecidos para cada uno de los módulos formativos asociados a sus correspondientes unidades de competencia.

3. Los formadores reflejarán documentalmente los resultados obtenidos por los alumnos en cada uno de los módulos formativos del certificado, de mane-ra que puedan estar disponibles en los procesos de seguimiento y control de la calidad de las acciones formativas; asimismo elaborarán un acta de evalua-ción en la que quedará constancia de los resultados obtenidos por los alumnos, indicando si han adqui-rido o no las capacidades de los módulos formativos y por lo tanto la competencia profesional de las

Introducimos un nuevo concepto, “assessment” (evaluación en inglés), entendido como proceso me-diante el cual es recopilada la información a través de múltiples actividades en el entorno donde se desarro-lla la acción, con el propósito de dar seguimiento al aprendizaje y así poder mantener sus niveles óptimos de calidad durante el proceso educativo.

Se efectúa a través de actividades variadas que requie-ren múltiples técnicas e instrumentos para valorar la calidad de desempeño de los participantes.

Niremberg, Brawerman y Ruiz, definen a la eva-luación como “...la actividad programada de reflexión sobre la acción, basada en procedi-mientos sistemáticos de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos fundamentados y comunicables sobre las actividades, resultados e impactos de esos proyectos o programas y formular recomendaciones para tomar de-cisiones que del instrumento se opone a la subjetividad del experto”.


5.1.3. concEptoS DE “norma y critErio”

Para establecer un juicio de valor en la evaluación, se deben comparar los datos obtenidos con un patrón, instancia o criterio de referencia que se haya definido previamente.

Un criterio es una norma para juzgar algo. Es el soporte de la valoración y ayuda a reducir la subjetividad del tutor. Los datos se recogen a través de pruebas, test, ensayos, casos, etc. Es necesario siempre y depende de los objetivos formulados en la programación.

El conjunto de criterios de evaluación guían y coordi-nan a los tutores en su hacer docente.

Evaluación con referencia a la normaSe comparan los datos de realización de un partici-pante con los de los demás; las pruebas de evaluación van a ser la base y el instrumento que permite clasificar a los alumnos en función de aptitudes, actitudes y rendimiento. Esto influirá en la calificación del alumno, puesto que deberá ajustarse a la “normalidad” del grupo. Es un procedimiento que puede cuestionarse ya que no se está evaluando si el aprendizaje del alumno es el ideal, sino que se está comparando a un grupo de referencia. En función del estudio de diversidad de grupo, se debe decidir si procede evaluar respecto a la norma.

Evaluación con referencia al criterioSe compara la realización del alumno con la previa-mente establecida objetivamente y por medio del razonamiento. Es la manera más adecuada de evaluar en el caso que nos ocupa, ya que se centra en el logro de objetivos a partir de la situación inicial del alumno.

Criterios que dirigirán la evaluación:1. Participación de todos los agentes que intervienen en la evaluación (equipo interdisciplinar)2. Tener en cuenta todas las variantes que puedan influir en el aprendizaje a evaluar y en el alumno.3. Tener en cuenta el contexto del aprendizaje y de la evaluación.4. Adecuación de la evaluación a las circunstancias que se presenten.5. La evaluación debe ser parte del proceso forma-tivo y no un hecho aislado.6. Adaptación de las sesiones formativas a los resul-tados obtenidos en las acciones evaluadoras.7. Potenciar la autoevaluación; el alumno debe opi-nar y conocer el estado de sus progresos.8. Feed-back entre el alumno y el tutor.

Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 5

medir no es Evaluar.

Evaluar es recoger información de diferentes tipos.

Evaluar es realizar una observación y descripción de la realidad.

Para evaluar es necesario aprender a utilizar múlti-ples fuentes y elaborar instrumentos que permitan evaluar globalmente el desempeño del alumno.

La evaluación en formación debe recoger la singu-laridad de las situaciones concretas, las caracte-rísticas particulares que definen una situación que pueden considerarse responsables del curso de los acontecimientos y de los productos de la vida del aula/plataforma. Los estudios sobre procesos han de registrar los sucesos de su evolución, de su estado de progreso, observar e indagar los juicios, interpretaciones y perspectivas de los participantes.

5.1.4. principioS y funcionES DE La EvaLua-ción:

5.1.4.1. objEto DE La EvaLuación:

· El rendimiento de los alumnos durante y al final del proceso. ¿A qué nivel de interiorización del apren-dizaje ha llegado el alumno?, ¿Cuánta información y cómo la utiliza?, ¿Qué unidades de competencia ha adquirido?, ¿Puede emprender aprendizajes su-periores?...· El proceso en sí mismo, métodos, técnicas y re-cursos. ¿Han servido para lograr los objetivos del curso?...· El diseño, la implementación y los responsables del programa educativo. ¿Ha sido adecuado?...· Materiales y recursos didácticos, económicos…

5.1.4.2. principioS báSicoS DE La EvaLua-ción:

A continuación se detallan algunos principios base que debe cumplir la “evaluación” en una acción formativa:

1. Debe ser continua, progresiva y sistemática.


2. No será un fin en sí misma, sino un medio para comprobar aprendizajes.3. Se tendrán en cuenta las diferencias individuales dentro de un grupo.4. Se definirán los objetivos de la evaluación antes de empezar la acción.5. Se organizará en el tiempo su aplicación.6. Se ajustará al alumnado, atendiendo a lo indivi-dual y social.7. Se evaluarán tanto aspectos cuantitativos como cualitativos de los procesos de aprendizaje.

5.1.4.3. funcionES DE La EvaLuación:

La evaluación formativa cumple una serie de funciones en formación:

funciones globales:· función diagnóstica: evaluación de los com-ponentes de la estructura, proceso y producto edu-cativo; constituye la base para adaptar el programa formativo a las necesidades detectadas.

· función predictiva: en base a la situación ini-cial del alumno, del rendimiento previo demostrado, de sus posibilidades y de sus actitudes, se podrán predecir rendimientos y posibilidades futuras del alumno. También puede servir para seleccionar a los alumnos que harán el curso de una forma jus-tificada.

· función orientadora: los datos obtenidos serán la base para la orientación personal, académica y profesional del alumno.· función de control: se controla el progreso educativo; va unida a las funciones ya citadas.

Funciones específicas:para el tutor:· Permite comprobar si se han conseguido los obje-tivos de aprendizaje.· Permite analizar las deficiencias encontradas.· Es una herramienta para la formulación de ob-jetivos nuevos y en la elección metodológica y de estrategias, en función de los problemas surgidos.· Los datos permiten la reflexión crítica de las si-tuaciones.

para el alumno:· Da feed-back en relación a su comportamiento en un determinado contexto.· Favorece el aprendizaje y potencia su satisfacción y motivación. Para que sea motivadora la evalua-ción, se pondrá especial cuidado en la manera de plantearla; si se hace desde una situación de poder, ello podría desanimar al alumno y potenciar sus miedos.· El alumno sabe que está aprendiendo y cómo lo está aprendiendo.

para el centro o empresa:· Retroalimenta futuras programaciones.· Potencia la mejora continua.· Permite la adaptación a la demanda socio-labo-ral.· Es un instrumento para la selección de futuros docentes.

para la administración:· Feed-back sobre adecuación del plan formativo.· Mejora de futuros planes.· La evaluación de rentabilidad social aporta in-formación sobre repercusiones sociales, cultura y actores implicados.· La evaluación de rentabilidad económica da infor-


Grupo de controlConjunto de personas tomadas como referencia en un experimento a fin de brindar una observación que pueda cotejarse con la conducta del grupo experi-mental, que es el que se quiere estudiar.

mación sobre gastos y beneficios de las acciones.· La evaluación de eficacia técnica proporciona datos sobre aspectos pedagógicos, operativos, de planificación y resultados de la formación.· Posibilita la comprobación de los aspectos legales que intervienen en las acciones formativas.


zados y la observación sistemática.

· modelo cualitativo. Se centra en comprender las concepciones implícitas de las conductas manifiestas.

· El análisis de los procesos, resultados e impacto de la acción es más completo que en el modelo anterior.· Además de los objetivos de aprendizaje, se consi-deran las necesidades y valores sociales.· Se utilizan las técnicas de entrevista, el estudio de casos, los informes, cuestionarios, etc.

Diferencias entre los dos grandes enfoques:


funcionES DE La EvaLuación

cuantitativo, paraDiGma poSitiviSta cuaLitativo, paraDiGma aLtErnativo

Entiende la evaluación como objetiva, los instrumentos que utiliza son propios de las Ciencias experimentales, válidos y fiables.

Cuantifica la información que consigue, usando metodología estadística.

El producto de la evaluación es el único dato valioso de análisis.

Necesita de un diseño estructurado donde se controlen todas las variables.

No tiene en cuenta las diferencias individuales.

No entra en juego la subjetividad del tutor–formador. Es una evaluación objetiva, siguiendo parámetros establecidos a priori.

Entiende la evaluación como recurso para analizar los procesos complejos, tanto

explícitos como implícitos.

Interpreta las situaciones atendiendo a la singularidad en contextos múltiples.

Todos los datos recogidos en la evaluación tienen valor analítico.

Utiliza una metodología sensible a las diferencias personales, acontecimientos imprevisibles y

posibilidades de cambio.

Valora las opiniones, intereses y aspiraciones fundadas en diversas ideologías, tantas como par-

ticipantes de la acción.

La subjetividad del tutor se encuentra presente en los procesos de evaluación

5.1.5. EnfoquES y tipoS DE EvaLuación:

Existen dos modelos predominantes sobre la evalua-ción:

· modelo cuantitativo.Concentrado en la búsqueda de información mediante medios e instrumentos objetivos; basado en hallar las diferencias de las medias entre el grupo de control y el experimental, ignorando las diferencias individuales y los procesos.

· El modelo se centra en la búsqueda de hechos y causas.· Es el modelo base en el uso de los test estandari-

GLOBALES ESPECÍFICAS

Diagnóstica

Predictiva

Orientadora

De control

Para el tutor

Para el alumno

Para el centro o empresa

Para la administración


Según el momento en que se realiza la evalua-ción utilizaremos unos tipos de evaluación u otros:

a) Evaluación inicial o diagnóstica. Se realiza al comienzo del proceso formativo. Forma parte de la toma de contacto con el curso y el objetivo que persigue es conocer las capacidades, intereses, necesidades y expectativas del alumno, que servirán de guía para adecuar la programación.

El producto resultante es un diagnóstico de la situación basado en:

· Estudio de necesidades· Estudio de diversidad· Estudio del conocimiento previo del alumno· Nivel cognitivo del alumno

En base a estos datos, se establece la forma y el grado de profundidad con la que se tratarán los objetivos de aprendizaje. Para este tipo de evaluación, resultan muy útiles de-terminados instrumentos como: cuestionarios, breves exposiciones de los alumnos acerca de algún tema determinado, pruebas estructuradas, etc. (Ver módulo 3, Unidad 1 sobre detección de necesidades)

b) Evaluación formativa o continua. Denominada así por Scriven, en la evaluación continua se evalúa el progreso educativo paulatinamente y se determina el grado en el que se consiguen los obje-tivos específicos, permitiendo el diagnóstico de las deficiencias del proceso educativo y las dificultades en el aprendizaje. Ello permite retroalimentar el proceso y buscar las estrategias de mejora que garanticen el éxito de la formación. La evaluación continua:

· Forma parte del desarrollo de la acción.

· Tiene carácter dinámico, ofrece feed-back con-tinuo. · Su principal función es dar cuenta de un aprendi-zaje significativo.· Supone reconocer la diversidad. · Tiene una función reguladora del proceso. · Se deben establecer previamente las técnicas e instrumentos a utilizar y el modo de interpretar la in-formación, así como el camino a seguir para realizar las adaptaciones necesarias durante el proceso.

c) Evaluación final. Síntesis de los datos recogidos durante todo el proce-so; además de ser una valoración general, completa y final del proceso, es también una estimación de la relación cantidad-calidad de los conocimientos, pro-cedimientos y actitudes adquiridos al finalizar la acción formativa. Se valoran también las posibilidades futuras del alumno actuando como pronóstico. Los éxitos y fracasos no deben ser atribuidos sólo al alumno, te-niendo en cuenta variables como: la forma de ense-ñanza, el tiempo asignado, contexto… ; en definitiva, es la evaluación que conduce a la acreditación aunque no se queda en ella y que también permite comparar diferentes grupos.

d) Evaluación Sumativa.Es la evaluación que se establece al final del proceso y se valora teniendo en cuenta los resultados que el alumno va obteniendo en el proceso. El fin último es establecer niveles o clasificaciones del alumno res-pecto de sus compañeros; tiene carácter selectivo y sitúa al alumno en niveles de eficacia según una escala numérica o en un “apto o no apto”. En este tipo de evaluación, se situaría el examen “tradicional” tal y como lo entendemos.


5.1.5.1. ELEcción DE LoS moDELoS EvaLua-tivoS

Siguiendo a Niremberg, Brawerman y Ruiz, diremos que” la evaluación cuantitativa se dedica a medir, mientras que la cualitativa a apreciar la situación”.Si lo que se pretende es que el proceso de evaluación nos permita crear hipótesis acerca de los aspectos positivos o negativos encontrados en el proceso, de-beremos considerar ambos enfoques como comple-mentarios.

El modelo cuantitativo resulta imprescindible cuando tenemos que gestionar un volumen grande de datos. Permite realizar comparaciones y operaciones estadísticas que dan las pautas globales del funciona-miento del proyecto.

El modelo cualitativo requiere de profundización y estudio sobre partes más pequeñas, ya que se pre-tende sacar la mayor información posible sobre las variables intervinientes.

Como en otras muchas situaciones, la combinación de ambos modelos puede ayudar a solventar los proble-mas que uno y otro presentan y aprovechar sus virtu-des. Será interesante la recogida de datos de los dos tipos, cuantitativos y cualitativos acerca del aprendi-zaje de los contenidos mediante: pruebas, actividades, observación de los alumnos, seguimiento de la tarea, apreciación de las intervenciones en la acción, etc.

5.1.5.2. tipoS DE EvaLuación

Recordando lo visto en la unidad 5 del módulo 3 y am-pliando la información, nos encontramos con distintos tipos de evaluación:

Según la referencia tomada:

a) Evaluación por criterios. Cada uno de los objetivos operativos formulados va ligado a un criterio o resultado esperado. Es la evalua-ción en función de los criterios diseñados en el proceso de programación de la acción formativa.

b) Evaluación normativa. La evaluación se establece dependiendo de la norma estadística; es decir, comparando al alumno con el grupo o con una muestra más amplia de referencia. En Formación para el Empleo, este tipo de evaluación no adquiere especial sentido, ya que la programación es mucho más específica que en otro tipo de formación.

Según objetividad–subjetividad en la evalua-ción:

a) Evaluación cuantitativa u objetiva. Este tipo de evaluación se guía por el rigor, la exactitud y la objetividad en la medición. No deja entrada a la subjetividad. Es la evaluación que se mide a través de pruebas cerradas, como las de tipo test.

b) Evaluación cualitativa o Subjetiva. En este tipo de evaluación se miden una multitud de factores y se recoge una gran cantidad de información. Da información muy rica y variada pero no tiene el rigor de la evaluación objetiva. Aquí entra la subjetividad del tutor. Lo más interesante es combinar la evaluación cualitativa con la cuantitativa para evitar los sesgos provenientes de los prejuicios y subjetividad del tutor –docente.otros criterios:

a) autoevaluación. Valoración que hace el propio alumno de sus logros.


Muy frecuentemente utilizada en teleformación y pre-sente en la mayor parte de los contenidos adaptados para e-learning. Intenta paliar la falta de feed-back inmediato por parte del docente cuando el alumno está solo con los contenidos como referencia, ya que refuerza y ofrece información sobre el progreso del alumno. Estará en función del criterio docente que dichas autoevaluaciones sirvan como criterios para la evaluación final o no.

b) Evaluación mixta. El docente y el alumno valoran conjuntamente la ac-ción y los resultados de la misma. El alumno emite sus juicios de valor sobre la actuación del tutor. Este tipo de evaluación se debe aceptar y reorientar según se estime conveniente.

5.1.6. EvaLuación objEtiva vS EvaLuación SubjEtiva

Hemos visto en la definición de evaluación que ésta se trata de un proceso que nos permite emitir juicios de valor y tomar decisiones.

Los humanos somos eminentemente subjetivos ya que nuestras percepciones influyen en nuestro comporta-miento, y cómo no, en la evaluación de los alumnos. Hemos visto que una evaluación cuantitativa sólo va a medir parte de los objetivos que nos planteemos, que-dando muchos factores fuera del proceso. Por tanto, si queremos tener en cuenta todos los elementos de for-ma global, debemos ser conscientes de cómo nuestra subjetividad va a entrar en juego en todo el proceso y, específicamente en la parte de evaluación.

Teniendo en cuenta estos factores subjetivos, el do-cente debe asumirlos y por tanto establecer las estra-tegias más adecuadas para combatirlos.

Identificaremos subjetividad cuando observemos en el juicio de valor:

· Tendencia a la generalización de resultados y a extrapolar conclusiones aisladas a todo el grupo.· Justificación de juicios fuera del análisis y la dis-cusión.· Aplicación de estereotipos sociales.· Implicación personal excesiva, pasando la barrera de mediador; si nos implicamos excesivamente en el trabajo de los alumnos, disminuimos la objetividad de nuestro juicio.· Utilización de la primera impresión que nos ha dado el alumno, ya que se crean falsas expectativas que influyen en la objetividad de la medición.


Modelo de Michael Scriven (1967). A este autor se le deben aportaciones tan interesantes como las de distinguir entre lo que son objetivos de la evalua-ción y el para qué de la misma. También se le debe la diferenciación entre la evaluación sumativa y la formativa.

Víctor García Hoz, en su libro Problemas y Métodos de Investigación en Educación Personalizada. Publi-cado en 1994 Ediciones Rialp, ISBN:8432130451

La evaluación objetiva es aquella en la que no influ-ye ningún factor ajeno a las características de aquello que se pretende evaluar.

Para potenciar la objetividad el docente debe:· Ser estable emocionalmente (Que su estado no influya sobre la evaluación)· Ser observador. Estar atento a todas las conduc-tas que se den.· Tener capacidad de análisis y de separar los he-chos.· Tener establecidos a priori los criterios sobre los cuales se va a evaluar e informar de ello a los alumnos.

1. pruebas objetivas:

Son frecuentemente utilizadas en e-learning, por su sencillez y rapidez en la corrección de las mismas y por permitir la autoevaluación del alumno a través de preguntas que va arrojando el sistema.

• Las pruebas objetivas son idóneas para:· Medir el recuerdo de la información· Distinguir hechos y opiniones· Reconocer reglas, generalizaciones, principios· Comprobar la interpretación correcta y la asocia-ción de conceptos

• Miden mal los procesos cognitivos complejos:· Capacidad de análisis· Aplicación de criterios propios· Desarrollo de ideas propias

• Para su construcción se requiere:· Medir datos relevantes.· Evitar las generalizaciones o extensiones exce-sivas.


· Enunciar los ítems siempre con proposiciones afir-mativas.· Evitar las palabras trampa.· Utilizar la misma afirmación base para todas las opciones.· Evitar dar “pistas” sobre la respuesta correcta.

Para intentar aliviar la subjetividad en la valoración, será necesario definir criterios previos, además de los propios resultados, como:

• Originalidad• Relevancia• Organización de la información• Uso de la terminología• Coherencia y claridad• Otros

En los procesos de evaluación, en ocasiones puede aparecer sensación de malestar o dudas en el tutor, sobre la objetividad de la valoración realizada; esta sensación será más incomoda cuanto mayor impor-tancia tenga para el alumno el resultado de nuestro juicio. Cuando esto ocurra, se debe analizar la decisión tomada exhaustivamente, comprobando que la misma es correcta y fundamentada, o lo que es lo mismo, fundamentada en criterios objetivos.

5.1.7. técnicaS E inStrumEntoS DE EvaLua-ción SEGún tipo DE aprEnDizajE y objEti-voS

La elección de las técnicas e instrumentos de evalua-ción, así como la fiabilidad y validez de las mismas, determinarán o estarán determinadas por la metodo-logía utilizada.

El primer paso para el desarrollo de las pruebas de evaluación es diferenciar los dominios donde se sitúan los contenidos formativos, que, como sabemos, son tres: cognitivo, afectivo y psicomotor.Recordamos que:

“El objetivo es aquello que se pretende alcanzar al término de un proceso completo de actividad”

Módulo 5 EVALUACIÓN EN TELEFORMACIÓN10

pruEbaS objEtivaS

Numerosas preguntas breves, con respuesta

breve.

caractErÍSticaS

Las respuestas correctas están determinadas

El procedimiento de evaluación está determinado

Sistematización de las preguntas

Estandarización

conDicionES

Validez

Fiabilidad

Poder de discriminación

2. pruebas de elaboración o desempeño (tienen un componente subjetivo que debemos con-trolar):

Son las pruebas idóneas para evaluar:• Presentación de proyectos.• Producciones personales.• Redacción de informes, monografías y ensayos.• Proyectos colaborativos.• Analizar casos o resolver problemas.• Crear productos.• Capacidad de análisis

La interpretación de los resultados de estas pruebas es subjetiva, ya que es el tutor quien valora las mismas.

Los objetivos operativos son aquéllos que expresan de manera concreta, observable y evaluable las conductas que deben conseguir los alumnos. Éstos deben ser:

· concretos. Debe expresar concretamente lo que quiere lograrse, sin generalizaciones.· unívocos. No da lugar a interpretaciones di-versas· Evaluables. Prever la forma de saber si se ha conseguido o no el objetivo.· alcanzables. Debemos ser realistas en la formu-lación de objetivos, teniendo en cuenta la realidad de partida.· motivadores. Deben ser alcanzables, pero sin dejar de ser un reto a conseguir.

Estos objetivos son los más próximos al ámbito didác-tico, aquellos que el formador debe establecer para llegar a conseguir los objetivos generales.

Es a la hora de estructurar las sesiones e-learning, cuando el docente se va a encontrar con el momento de formular objetivos operativos que le lleven a conse-guir los más generales.

Para ello será fundamental no sólo tener en mente las taxonomías y una lista de verbos a utilizar, sino seguir una serie de pasos básicos:

· Identificar la conducta que se persigue en el ob-jetivo.· Establecer la conducta observable.· Establecer las condiciones bajo las que se tiene que dar dicha conducta.· Establecer el criterio de ejecución y de eva-luación.

Para realizar los anteriores pasos, será necesario tener muy clara la conducta que perseguimos y buscar el verbo que identifique esa conducta observable. Ello implica que conductas que se persigan que no sean


observables, tendremos que utilizar el verbo e identifi-car la conducta a través de la cual podamos medirla.Hay una serie de normas básicas para formular obje-tivos operativos:

· Redactar el verbo en infinitivo.· Un solo verbo por objetivo.· Ser concreto y obviar las introducciones en la redacción.· Redactar las condiciones bajo las que se tienen que dar las conductas (mediante participios, prepo-siciones, gerundios, etc)· Redactar el criterio de ejecución al final.

Un buen objetivo seguirá el siguiente esquema:

conDucta objEtivo + conDicionES + critErio DE EjEcución

Para garantizar que realmente se están evaluando los objetivos de aprendizaje establecidos, ayudará el es-tablecer un procedimiento base que se detalla a con-tinuación:

1. Redactar los objetivos operativos.2. Organizarlos según tipo de conducta perseguida y nivel taxonómico.3. Establecer los comportamientos que se van a evaluar.4. Establecer cuáles van a ser las condiciones y los criterios de evaluación.5. Seleccionar la metodología y su aplicación.6. Determinar los medios técnicos que se van a utilizar7. Aplicar las evaluaciones.8. Comparar los datos obtenidos con los objetivos formativos.


revista electrónica de investigación y Evalua-ción Educativahttp://www.uv.es/RELIEVE/v1/RELIEVEv1n0.htm

Podemos definir Criterios de evaluación como “aquellas conductas que se deben cumplir en el pro-ceso formativo para garantizar que se han cumplido los objetivos definidos en la acción formativa”Podemos definir los Indicadores de Evaluación como “datos empíricos recogidos de forma sistémica y que permiten evaluar los sucesos del proceso en función de si se están cumpliendo o no, o en qué medida, los criterios de evaluación definidos”.

5.1.7.1 rEquiSitoS DE LoS inStrumEntoS DE EvaLuación:

Para que los instrumentos de evaluación escogidos para evaluar una actividad sean eficaces y en la medi-da de lo posible, objetivos, deben cumplir una serie de requisitos que a continuación se detallan:

1. objetividad: el resultado no depende de la persona que lo aplica.2. Confiabilidad: sea cual sea su origen y ocasio-nes donde se aplique dará resultados estables.3. validez: que realmente mida lo que se pretende evaluar.4. Discriminación: que realmente diferencie los niveles de desempeño de los alumnos.5. Dificultad: un mínimo porcentaje de alumnos deben poder resolverlas favorablemente.6. adecuación temporal según la programación establecida.7. representatividad: que indiquen en qué grado se han logrado los objetivos.8. adecuación a los contenidos.9. Eficacia y funcionalidad.

5.1.7.2 pruEbaS DE EvaLuación En E-LEar-ninG

Podemos distinguir los siguientes tipos de pruebas en teleformación:

a) pruebas objetivas y de respuesta cerrada:Selección múltiple, verdadero–falso, ítems para rela-cionar, completar o llenar blancos, ordenar, asociar, etc. La mayoría de las plataformas e-learning permiten diseñar este tipo de pruebas, ofreciendo corrección informática e inmediata. También existen diferentes aplicativos externos, comerciales o de código abierto,


diseñados expresamente para estos fines. La dificultad en este tipo de pruebas objetivas no está en la correc-ción, sino en el diseño de las mismas; hay que ser muy cuidadoso en su elaboración y valorar lo que se puede medir y evaluar a través de ellas.

b) Las pruebas abiertas:No tienen respuestas predeterminadas, por lo que el tutor será quien evaluará el desarrollo del trabajo del alumno y su resultado.

La selección de unos instrumentos u otros dependerá, sobre todo, de los objetivos que se persigan, pero también hay que tener en cuenta criterios económicos que se nos darán desde los responsables educativos.Para seleccionar el instrumento idóneo, sea cual sea la naturaleza de la actividad, nos fijaremos en tres gran-des grupos de razones:

1. Los contenidos2. La metodología- aspectos técnicos3. Los recursos económicos disponibles.

1. contenidos.

A modo de recordatorio diremos que siempre tenemos que adecuarnos a los objetivos de aprendizaje; a la hora de seleccionar el instrumento evaluador nos preguntaremos ¿Qué se va a evaluar?, ¿Qué tipo de información estamos trabajando?, ¿Cuál es la mejor oferta técnica disponible?.También tendremos en cuenta si evaluamos cono-cimientos propios del curso y que están en los con-tenidos o evaluamos producciones personales como opiniones, preferencias, etc.

2. metodología- aspectos técnicos.

Nos fijaremos en la consistencia de los resultados, precisión o fiabilidad o validez de la prueba, en la obje-tividad de la medición y en la jerarquía de los conceptos que evaluamos o representatividad del instrumento o método para la evaluación del objetivo pretendido, de manera que, la prueba en cuestión, mida los objetivos establecidos.

3. recursos económicos disponibles:

Siempre procuraremos utilizar herramientas, instru-mentos y métodos que nos permitan evaluar de forma efectiva con el menor coste posible.

Se tendrán en cuenta todos los factores del contex-to que puedan influir en la decisión de utilizar unos u otros instrumentos y sabremos que el éxito de la evaluación no está en el instrumento en sí, sino en el uso que de él hagamos y en la manera de presentarlo a los alumnos.

Para evaluar las habilidades intelectuales que va ad-quiriendo el alumno utilizaremos pruebas de co-nocimiento con el objetivo de medir el grado en el que se asimilan los aprendizajes en dos niveles diferenciados:

1. nivel conceptual: conocimiento propiamente dicho.2. nivel comportamental: habilidades.

En la siguiente tabla relacionamos los instrumentos adaptados a e-learning, que pueden utilizarse para evaluar una serie de habilidades intelectuales:



5.1.7.3 LoS critErioS E inDicaDorES DE Eva-Luación

Cuando se evalúa en Formación, en este caso de adultos, es necesario determinar qué criterios y qué indicadores vamos a utilizar que nos permitan medir la eficacia del proceso y el buen desempeño de los integrantes involucrados.

Para elaborar los criterios e indicadores de evaluación, se parte de los objetivos definidos como hemos seña-lado anteriormente.

Podemos definir criterios de evaluación como “aquellas conductas que se deben cumplir en el pro-ceso formativo para garantizar que se han cumplido los objetivos definidos en la acción formativa”

Las características que deben tener los criterios de evaluación son:

· Deben ser claros y precisos en su redacción, pues deben expresar claramente la conducta que se pre-tende.• Deben ser conocidos y aceptados por parte de todos los integrantes del proceso formativo. • Deben ser comprensibles.• Deben ser flexibles; que permitan cambios en el proceso.

Por otro lado, podemos definir los Indicadores de Eva-luación como “datos empíricos recogidos de forma sistémica y que permiten evaluar los sucesos del pro-ceso en función de si se están cumpliendo o no, o en qué medida, los criterios de evaluación definidos”. Por tanto, los indicadores se construyen a partir de los criterios de evaluación

Módulo 5 EVALUACIÓN EN TELEFORMACIÓN 1�

pruEbaS objEtivaS

· Preguntas cortas y concretas.

tipoS DE inStrumEntoS vEntajaS incovEniEntES

redacción de informes

cuestionario de preguntas abiertas

cuestionario de preguntas cerradas

(test)

• Recogen gran cantidad de información.

• Pueden incluir información no relevante.

• Requieren gran esfuerzo en la corrección.

• Posible subjetividad.

• Realización rápida.

• Alta objetividad.

• Pueden actuar como refuerzo negativo por su parecido con los

exámenes.• Las preguntas pueden ser mal

interpretadas.

• Pueden requerir demasiado tiempo en su desarrollo

y corrección.• Pueden incluir información no

relevante.• Posible subjetividad.

• Pueden actuar como refuerzo negativo por su parecido con

los exámenes.• Las preguntas pueden ser mal

interpretadas.

• Coste bajo.• Realización

rápida.• Recogen gran cantidad de información.

• Opción múltiple.• Alternativa constante: verdadero falso, sino,

nunca-siempre, correcto-incorrecto, respuestas similares.• Para completar.

• Relacionar parejas.• Para tachar.

• Respuesta guiada.• Ordenamiento

• Etc.

· Preguntas amplias y abiertas.

• Fácil de corregir• Validez y fiabi-

lidad• Realización y

corrección rápida

• Costosa elaboración.


Las características que deben tener los indica-dores son:

• Representan una medida cuantitativa o cualita-tiva.• Deben revelar los propósitos que se persiguen en los criterios de evaluación.• Debe ser comprensibles y verificables para los responsables de aplicar la evaluación en la acción formativa.

Lázaro (1992), identifica tres grandes dimensiones en torno a las que se agrupan las características y requisi-tos a tener en cuenta en la elaboración de indicadores: las características del constructo, las condiciones de medida y las condiciones formales.

Teniendo en cuenta el constructo, los indicadores deben poseer las siguientes características:

• Significatividad de la relación entre el indicador y las propiedades del objeto que señala. • relevancia del indicador. • teleologicidad del indicador. La congruencia descriptiva del indicador debe estar en función de los objetivos y fines pretendidos, siquiera para un momento o época determinada en el que se desa-rrolla un programa. Un indicador puede ser válido para valorar la eficacia de un programa pero no para valorar las posibilidades de mejora que introduce. • utilidad del indicador. Cualquier indicador ha de reclamar una información que contribuya a la definición del objeto de evaluación, describa sus situaciones, defina las problemas que le atañen y permita establecer predicciones. • complementariedad-totalidad. Cada indica-dor no puede ser interpretado aisladamente, sino que se le debe relacionar con el sistema de indi-cadores al que pertenezca. A partir de esa relación puede determinarse la “potencia relativa” que posee

Módulo 5 EVALUACIÓN EN TELEFORMACIÓN1�

• Si existe una cadena de indicadores, se han de señalar y sistematizar en niveles de causalidad o dependencia.• Un indicador podrá desglosarse en ítems, es decir, concretar la petición en forma de ítem o cuestión.

Para evitar la confusión normal que provoca diferenciar los criterios de evaluación con los indicadores, debe-mos recordar que los criterios de evaluación deben representar lo sustancial e importante del objetivo en la acción formativa, mientras que los indicadores per-miten evaluar si se están cumpliendo esos criterios. Un indicador, por tanto, supone una forma de concretar un criterio de evaluación. Lo que se busca a través del indicador es la guía que nos acerque a la manifestación significativa de la realidad, al conocimiento más fiel y cercano de lo que se pretende evaluar.

Los indicadores deben definir e “indicar” el objeto o conducta al que se refieren; ello implica una relación de dependencia del indicador respecto al objeto re-ferido, ya que adscribe propiedades a aquello que indica, lo que supone dotar de objetividad al proceso de evaluación.

El “Cuestionario-Guía sobre requisitos de los indica-dores” desarrollado por Lázaro (1991) nos puede servir como ejemplo y guía para la construcción de indica-dores:

cada indicador en lo que se está evaluando.

Siguiendo a Lázaro, todo indicador ha de cumplir las siguientes condiciones de medida:

• observable. • aplicable. Los medios y recursos que se utilicen para realizar la observación y recoger la información han de ser posibles y coherentes con los fenómenos observados. • accesible.• Codificable. Es preciso que el sistema de indica-dores cuente con un esquema paralelo que permita anotar, valorar y reflejar las manifestaciones ob-servadas. En ese sistema de codificación, la infor-mación proporcionada por los indicadores puede convertirse en valores que reflejan tasa, ratio o fre-cuencia o en descriptores que reflejen la presencia o ausencia de un elemento o el grado de consecución del mismo, como veremos en próximos unidades en la construcción de las escalas de calificación y listas de cotejo respectivamente.

Las condiciones formales que señala Lázaro, tienen que ver con el modo en que se redactan y concretan los indicadores de modo que puedan ser utilizados de la manera más operativa posible. Algunas de estas condiciones serían:

• Cada indicador tendrá un referente determinado, claro y definido.• Cada indicador ha de solicitar información de una sola manifestación.• Tendrá definida la situación a observar determi-nada en un contexto preciso, incluyendo un espacio y un tiempo determinado.• La formulación ha de ser breve y concisa, de forma que se exprese con claridad y sin ambigüedades.• El enunciado del texto tenderá a ser directo y descriptivo.



rEquiSitoS DE conStructo rEquiSitoS DE mEDiDa rEquiSitoS formaLES

· El indicador recoge y hace referencia a alguna propiedad

del objeto.· La propiedad referida es de

tipo esencial. · Los datos recogidos en el

indicador están en congruencia con los fines y objetivos de la evaluación pretendida.

· Los datos recogidos por el indicador tienden a ser

permanentes. Con los datos recogidos por el indicador se pueden realizar influencias y

predicciones. · El indicador ofrece datosintegrables en un sistema de

indicadores.

· Los datos que reclama el indicador son observables.· Los datos que reclama el

indicador pueden ser observados por diferentes

evaluadores simultáneamente o en situaciones distintas.

· Los medios que se utilizan para recoger los datos que reclama el

indicador son adecuados.· Las fuentes que facilitan la información solicitada por el indicador son accesibles.

· Los indicadores poseen una forma de anotar y valorar la

información recogida.· Los indicadores tienen un peso específico dentro de un

sistema de indicadores.· Los datos obtenidos por los

indicadores pueden interpretarse numéricamente.

· Los datos obtenidos por los indicadores pueden relacionarse

numéricamente con los de otros indicadores.

· Cada indicador solicita información de una sola cosa.

· La inforrración solicitada se puede recoger en una situación definida.· El indicador está expresado con

claridad semántica sin ambigüedad.· La información reclamada se recoge en un mismo tipo de

manifestación.· El enunciado será directo y

descriptivo.· El indicador se relacionacausalmente con otros.

· Se puede desglosar y especificar en items.

Cuestionario-Guía sobre requisitos de los indicadores (A. Lázaro, 1991)


Aspecto a evaluar: participación del alumno en un foro de debate.


inDicaDorES para EvaLuar EL DEbatE En GEnEraL

Participan la mayoría de los alumnos

Se plantean claramente los objetivos

Se trata de forma analítica y a fondo el tema tratado

Se respetan los tiempos previstos

Se respetan las opiniones de los demás

El lenguaje utilizado por la mayoría es:

Respetuoso

Apropiado

Dinámico

Grupo En GEnEraL

Si no

inDicaDorES para EvaLuar EL comportamiEnto DEL moDEraDor

Domina el tema de discusión

Organiza pautas para establecer las intervenciones

Clarifica conceptos cuando es necesario

Retoma el tema en discusión cuando éste se desvía

Favorece y potencia la intervención de todos los participantes

Se muestra imparcial ante opiniones diferentes

Extrae conclusiones finales recogiendo las principales aportaciones de todos los participantes

Si no

inDicaDorES para EvaLuar a caDa uno DE LoS participantES Si no

Respeto el derecho de palabra de los compañeros

Explica claramente la opinión

Hace aportaciones nuevas a la discusión

Utiliza un lenguaje claro

Estimula la participación de los demás

Domina el contenido Sitúa su argumento en el contexto

Vamos a ver un ejemplo del uso de indicadores en una acción formativa de teleformación. En próximas Unida-des se verán más ejemplos para la construcción de de-terminados instrumentos de medida con indicadores.

Aspecto a evaluar: un debate propuesto por un alumno en foro de discusión.



Recordando lo visto en anteriores módulos, los pro-blemas que nos pueden surgir a la hora de evaluar a distancia están relacionados con:

• La madurez y autonomía del estudiante.• La correcta formulación de objetivos.• El nivel profesional del tutor en cuanto a estrate-gias, metodología y aspectos técnicos.• La correcta formulación de las pruebas de eva-luación.• Corrección de las pruebas.• Feed-back, remisión de resultados.

Desarrollaremos nuestra creatividad e ingenio en el diseño de recursos e instrumentos, promoviendo el pensamiento del alumno y ofreciéndole los canales necesarios para transmitir y demostrar su aprendizaje. Se pondrá especial interés en evitar los siguientes aspectos:

· Exámenes de corte “tradicional”.· Plagio por falta de control.· Falta de consistencia al calificar.· Participantes que no aceptan la metodología: tra-bajo colaborativo, fechas de entrega, etc.· Ausencia o feed-back deficiente.· Ausencia de información sobre los progresos in-dividuales.

5.1.9 EL frauDE y SupLantación En E-LEar-ninG

Como puede observarse, muchos de los inconvenien-tes señalados en el punto anterior pueden superarse si se establecen las correspondientes medidas correcto-ras con las adecuadas estrategias tutoriales vistas a lo largo de este curso. Sin embargo, uno de los principales problemas con los que podemos encontrarnos en el ámbito e-learning es el “fraude o suplantación” por


5.1.8 La EvaLuación En tELEformación, vEnta-jaS, inconvEniEntES y poSibLES apLicacionES

vEntajaS

Feed-back inmediato

Autoevaluación

Administración y registro de las evaluaciones

Las preguntas pueden hacerse aleatoriamente

El alumno realiza las evaluaciones de manera independiente

Se pueden ofrecer diversas graduaciones

incovEniEntES

El alumno puede falsear identidad

Riesgo técnico

Alto coste

apLicacionES

Al comienzo:• Diagnóstico de necesidades• Identificar conocimientos previos• Abordar temas fundamentales• Establecimiento de metas personales

Durante el desarrollo:• Dar y recibir feed-back• Identificar necesidades de apoyo tutorial• Ajustes respecto a las metas

Al final:• Medición del aprendizaje• Decisión de cambios• Aplicación del aprendizaje

parte del alumno. Identificar a la persona que se está evaluando, es decir, saber con seguridad que la per-sona que está realizando un curso es quien realmente dice ser, puede convertirse en uno de los principales obstáculos en e-learning cuando una acción formativa es pura e-learning, sin sesiones presenciales, y que además conlleva la obtención de un título con carácter oficial. No debemos olvidar tampoco que en ocasiones este fraude puede no ser conocido por el propio alum-no; estaríamos hablando en este caso de problemas de “seguridad informática”

Vamos a analizar los dos principales fraudes que pue-den producirse en e-learning: suplantación de identi-dad y falta de seguridad.

5.1.9.1 La SupLantación DE iDEntiDaD

En este caso, la persona que realiza el curso no es quien creemos. La suplantación puede deberse a dos circunstancias bien diferentes:

· Suplantación consentida; es el propio alumno quien cede las contraseñas de acceso para que sea otro quien realice la acción en su nombre.· Suplantación no consentida. Por propio des-piste del usuario, éste ha perdido las contraseñas de entrada a la plataforma e-learning o las ha dejado a la vista de otros. En este caso, podría darse la circunstancia de que otra persona estuviera acce-diendo a los datos del curso sin conocimiento del alumno.

La forma de evitar este fraude variará en función de la circunstancia que se haya dado según los puntos anteriores:


para evitar la suplantación consentida, podrían realizarse las siguientes acciones:

· Evaluación final de la acción de forma presencial; establecer fechas de sesiones presenciales para tal efecto. · Establecer evaluaciones de forma síncrona, bien parciales, bien finales. Para ello, se pueden es-tablecer sesiones de audio o video conferencia con el alumno para realizar determinadas actividades.· Un buen seguimiento del alumno a lo largo del proceso ayudará al tutor a reconocer al discente: forma de expresión, comunicaciones diversas, etc… Para ello se requiere de una metodología participa-tiva, con actividades abiertas y variadas.· firma y contrato con el alumno. Una estrate-gia a utilizar puede ser el solicitar la firma al inicio y al final de la acción formativa, momentos que coin-cidirían con el acuerdo previo de inicio del curso y la entrega de la acreditación; la firma compromete al alumno de alguna manera, pues confirma que es él quien ha desarrollado el curso y a quien se acreditan las competencias obtenidas. Con el uso extendido de la firma electrónica en la actualidad, este pro-ceso puede realizarse por vía telemática, ya que dicha firma autentifica la identidad del autor, pues se utilizan claves secretas que vinculan al usuario con el documento.

para evitar la suplantación no consentida, en la medida de lo posible, se podría:

· Indicar al alumno al inicio del curso que guarde sus contraseñas en lugar seguro y que no las deje a nadie.· Desde el Centro de formación debe indicarse en todo momento que dichas contraseñas son perso-nales e intransferibles.· Aplicar técnicas biométricas o “Métodos de identi-ficación y autenticación de los seres humanos a tra-

vés de características fisiológicas y de comporta-miento”: identificación de huellas digitales, análisis de iris, patrones de voz, dinámicas de tecleo, etc…


biometríahttp://www.iata.csic.es/ibsresp/(Sociedad española de Biometría)

firma electrónica

http://www.mityc.es/DGDSI/Servicios/FirmaElec-tronica/

5.1.9.2 SEGuriDaD informática

Este tipo de fraude se produce cuando un “hacker”, o mejor dicho, un “cracker”, vulnera los sistemas de seguridad de la plataforma de e-learning, pudiendo acceder a todos los datos de la misma; los daños que puede causar son variables en función de las intencio-nes de estos intrusos informáticos.

Es responsabilidad de los administradores de la plataforma e-learning, garantizar la confidenciali-dad e integridad de la información que se maneje a lo largo de desarrollo de una acción formativa, ofrecien-do los correspondientes servicios de autentificación mediante contraseñas de acceso, servicios de cifrado, control, confidencialidad e integridad.

Si se desean minimizar los riesgos, debe adoptarse una política de seguridad de prevención y solución de problemas de seguridad, con la aplicación de las tecnologías adecuadas mediante herramientas critp-tográficas, auditorías, cortafuegos, entre otras.



Un cracker, llamado habitualmente (pero en forma errónea) un hacker, es una persona que ingresa a un equipo informático sin autorización.Si hacemos una analogía, un hacker sería como un “intruso” (sin discriminar el significado del término) que sabe la manera de cómo abrir el candado de una caja fuerte, de abrirla, de revisar qué hay aden-tro y de dejar una nota diciendo que estuvo ahí, y cuando sale deja todo como estaba. El cracker, por el contrario, no se contenta con dejar la nota de que estuvo ahí, también se roba todo lo que encuen-tra en la caja fuerte y además la deja abierta. Y no conforme con esto, además hace pública la forma en que abrió la caja fuerte.

(Fuente: wikipedia)

HackerHacker es el neologismo utilizado para referirse a un experto en varias o alguna rama técnica relacionada con la informática: programación, redes de compu-tadoras, sistemas operativos, hardware de red/voz, etc. Se suele llamar hackeo y hackear a las obras propias de un hacker.

(Fuente: wikipedia)

5.1.10 concLuSionES

Como hemos indicado a lo largo de este curso, la te-leformación se constituirá como un medio clave para acercar la formación a un mayor número de población, que, por diferentes circunstancias, bien por necesidad de flexibilidad horaria o por razones de lugar entre otras causas, requieran de sistemas formativos más flexibles y adaptados a sus necesidades. Uno de los procesos clave para que el e-learning tenga cabida como formación de calidad, será atender a los proce-sos y sistemas de evaluación en esta modalidad.

Siguiendo estos principios de calidad, debemos recor-dar que la evaluación debe adaptarse a las carac-terísticas concretas de lo que se evalúa y para lo que se evalúa; ello será la clave para dotar de validez a las acciones formativas e-learning. En el ámbito e-learning, la evaluación debe estar pla-nificada, así como realizarse de forma sistemática, recogiendo todos los factores del proceso formativo. No debemos perder de vista que las tecnologías de-ben estar al servicio de la formación y no al contrario; independientemente de la metodología que como tu-tores desarrollemos, la acción formativa debe per-seguir la adquisición de una serie de competencias formuladas a través de los objetivos de aprendizaje. Y, no menos importante, debemos tener en cuenta otra finalidad de la evaluación: detectar las mejoras que puedan optimizar los procesos de aprendizaje en futuras acciones e-learning.

En este sentido, podemos entender la evaluación des-de tres perspectivas distintas: Evaluación del aprendi-zaje del alumno, de la acción formativa y por último, evaluación de los materiales multimedia y medios uti-lizados. En anteriores módulos, nos hemos detenido


en detectar y evaluar medios tecnológicos como pla-taformas e-learning o contenidos multimedia; en las siguientes unidades, profundizamos en las técnicas e instrumentos para evaluar la adquisición de aprendi-zaje en el alumno, así como los procesos para evaluar la calidad de la acción formativa.




mEDicióninStrumEntoS Comparar

Respecto al grupo

Respecto a objetivos Norma

Criterio

EvaLuación Emitir Juicio TUTOR

momentos de modelos funciones

Globales

Emitir Juicio

Emitir Juicio

Emitir Juicio

De control

Específicas

Tutor

Alumno

Centro

Administración

Cuantitativo

Cualitativo

Inicio

Proceso

Final

Objetivos

Validos

Discriminatorios

Dificultad

Representativos

Funcionales

Basados en los contenidos

Eficaces

Adecuación temporal

Confiables



5.2. Desarrollo de pruebas de evaluación cerradas para teleformación.


MÓDULO 5

OBJETIVOS DE LA UNIDAD: · Desarrollar correctamente todos los pasos en la elaboración de una tabla de especificaciones· Redactar correctamente todos los ítems· Redactar con claridad las instrucciones de aplicación de la prueba· Utilizar herramientas tecnológicas para la elaboración de pruebas cerradas en teleformación

CONTENIDOS:

5.2.1. Introducción5.2.2. La evaluación en función de objetivos5.2.3. La tabla de especificaciones5.2.4. Elaboración de los ítem en las pruebas objetivas

5.2.4.1. Pruebas de evocación5.2.4.2. Pruebas de selección.

5.2.5. Redacción y calificación de las pruebas objetivas.5.2.6. Herramientas tecnológicas para la elaboración de pruebas objetivas en teleformación.5.2.7. Conclusiones Mapa Conceptual Módulo 5, Unidad 5.2

5.2.1. introDucción

Esta unidad pretende ser una guía para la elaboración de pruebas cerradas de evaluación que podrán desa-rrollarse, bien en la misma plataforma e-learning, bien en los contenidos de teleformación.

Tal y como veíamos en la unidad anterior, las pruebas cerradas garantizan una mayor objetividad en la co-rrección de las mismas, aunque, como veremos, impli-can una mayor dificultad en su elaboración si deben cumplir los mínimos requisitos de fiabilidad y validez.

Las pruebas de evaluación cerradas o llamadas tam-bién “pruebas objetivas”, permiten evaluar objetivos del dominio cognitivo fundamentalmente y en los niveles taxonómicos de ámbito inferior; mediante éstas, se pueden evaluar unidades de conocimiento simples a través de preguntas con posibles respuestas definidas previamente. Para los objetivos taxonómicos superio-res que no puedan evaluarse a través de las pruebas objetivas, será necesario establecer pruebas abiertas o de desarrollo; de éstas, trataremos en la unidad siguiente.

Repasando lo visto sobre evaluación en e-learning, diremos que para que la evaluación sea objetiva, de-berá ser continua y adaptada a los discentes, objetivos y contenidos del curso, utilizando instrumentos para medir los aprendizajes que reduzcan al mínimo la sub-jetividad en la corrección.

A continuación vamos a ver las características que deben tener los instrumentos de evaluación para que midan de forma objetiva el dominio cognitivo.


5.2.2. La EvaLuación En función DE objEtivoS

Como se ha visto a lo largo de este curso, los conte-nidos van organizados en tres grandes secciones que corresponden a los tres grandes grupos de objetivos:

· objetivos Generales· Objetivos Específicos· objetivos operativos

En la formulación de objetivos operativos vimos la importancia de utilizar términos concretos para de-terminar la conducta exacta que queremos conseguir, así como el establecimiento de las condiciones y los criterios de ejecución. Es a partir de la correcta for-mulación de los objetivos operativos, cuando se ofre-cen las pautas correctas para elaborar de forma fiable y válida los ítems de las pruebas objetivas; ítems que describan acciones concretas como: define, identifica, resume, asocia… ligados a los objetivos perseguidos. Vamos a expresar lo dicho anteriormente de una forma práctica:

Tomando la Taxonomía cognitiva de Bloom como re-ferencia, recordemos los 6 niveles diferenciados de mayor a menor complejidad:

· Cuando evaluemos conocimientos universales o con-cretos de hechos, definiciones de términos, formas y medios de tratar casos específicos, estaremos en el primer nivel taxonómico: conocimiento.Los enunciados de los ítems de las pruebas podrían ser:

· De las definiciones expuestas a continuación, ¿cuál es la que corresponde a ________?· ¿Qué nombre recibe el proceso por el cual _____?· Etc.

· Cuando evaluemos la aplicabilidad de un aprendizaje sin relación con otros o entendimiento aislado de con-ceptos, su interpretación, clasificación, estaremos en el segundo nivel taxonómico: comprensión.Los enunciados de los ítems solicitarán acciones como: · ¿Cuál es la secuencia correcta para _________?· Selecciona el procedimiento correcto para _______?· Etc…

· Si solicitamos abstracciones como la aplicación, re-conocimiento o justificación de ideas generales, nor-mas, métodos, principios o teorías, nos encontramos en el tercer nivel taxonómico: aplicación.

· Si lo que pedimos es analizar, categorizar, comparar, contrastar, distinguir, relacionar, concluir…, estaremos en el cuarto nivel taxonómico: análisisLas preguntas serán del tipo:

· ¿Cuáles son las características de ______?· ¿Por qué crees que ________?· ¿Qué relación encuentras entre _______?· ¿Cuál es la función de _______?

· Si proporcionándole las partes, pedimos al alumno que construya la solución a un problema, explicación de una situación, comprobación de una hipótesis…, estaremos en el quinto nivel taxonómico: síntesis.


EVALUACÍON

SÍNTESIS

ANÁLISIS

APLICACIÓN

COMPRENSIÓN

CONOCIMIENTO

· Por último, si pedimos al alumno que emita juicios de valor y toma de decisiones sobre métodos, procedi-mientos, solución de problemas…, estamos en el sexto y último nivel taxonómico: evaluaciónLas preguntas podrían tener la siguiente estructura:

- De los siguientes procedimientos, ¿Cuál es a tu juicio el más adecuado para _______? Justifica tu respuesta.

5.2.3. La tabLa DE ESpEcificacionES

Para visualizar de forma clara la importancia de cada aprendizaje en el resultado final, será fundamental ela-borar previamente una tabla o matriz de especifi-caciones, donde quedarán reflejados los resultados esperados referentes a conocimientos y conductas que debe aprender el alumno y las pruebas necesarias para evaluarlos.

Además de establecer niveles de importancia, la tabla de especificaciones ofrecerá el número de ítems que contendrá cada prueba en función del nivel taxonómi-co del aprendizaje específico.

En definitiva, la tabla de especificaciones permite esta-blecer qué resultados de aprendizaje debemos esperar en función de los contenidos del curso; en base a ello, se seleccionarán los instrumentos de evaluación y el formato de la misma. Será de vital importancia para concretar el número y tipo de ítem en cada una de las unidades didácticas, entendiendo por ítem cada uno de los apartados que componen una prueba y que corresponde con un objetivo evaluable.

En dicha tabla también se recogerán aquellos apren-dizajes que requieran de una evaluación más allá de la integración de conocimientos, como, por ejemplo,


las destrezas manuales que puedan requerir de otro tipo de pruebas más abiertas y prácticas; para ellas, se determinarán los medios y condiciones en las que se realizarán dichas pruebas.

La tabla de especificaciones nos permitirá visuali-zar de forma gráfica qué hay que evaluar, cuál va a ser el criterio, cuántos ítems van a ser necesarios y qué puntuación o importancia tiene en el resultado final.

Pasos para elaborar la tabla:1. Extraer las competencias relevantes que debe adquirir el alumno. Simplificaremos los objetivos para eliminar los repetidos o los que están conte-nidos en otros.2. Determinar el número de ítems, asignando uno distinto a cada unidad de conocimiento. Ha-remos lo mismo con las unidades de competencia que implican la profesión que se quiere certificar extrayendo el número y tipo de ítems necesarios para evaluarlas.3. Elaborar la tabla de especificaciones de re-ferencia. Estableceremos relaciones de importancia entre los objetivos seleccionados, utilizaremos las taxonomías.

Ejemplo de tabla de especificaciones:

Todos estos pasos son necesarios para elaborar pruebas que nos permitan medir los aprendizajes de forma objetiva. La tabla de especificaciones nos servirá para asegurarnos que el aprendizaje ha sido efectivo, en qué medida se ha realizado y qué importancia tiene en el resultado final.


nombrE DE La uniDaD DE compEtEncia a EvaLuar

Objetivo 1

Objetivo 2

Objetivo �

Objetivo N

critErio DE EvaLuación (nivEL taxonómico)

númEro DE itEmS

pESo En La EvaLuación finaL

Identificar, analizar…

Comprender, elaborar…

...

...

1

2

�

N

1 2 � � 5 �

Cada ítem debe corresponder con una unidad de conocimiento evaluable.

tabLa DE ESpEcifica-

cionESNiveles

TaxonómicosMedios y

Condiciones

Número deítems

Competenciasrelevantes

5.2.4. ELaboración DE LoS ÍtEm En LaS pruE-baS objEtivaS

Ítem: cada uno de los apartados que componen un cuestionario o un test (R.A.E.)

Son estructuras con respuesta específica, las cuales, nos permiten valorar el progreso formativo de los es-tudiantes. Cualquier parte de la prueba susceptible de puntuación es considerada ítem.

Las habilidades y destrezas que debe poseer el tutor para elaborar las pruebas objetivas se pueden resumir en tres: creatividad, estrategias metodo-lógicas y paciencia, ya que es un proceso costoso que debe estar presente a lo largo de la aplicación y desarrollo del programa formativo; serán de vital im-portancia aspectos como la selección de unos buenos contenidos o el rigor en la estructura y redacción de los ítem y preguntas de evaluación.criterios de redacción y elaboración de los íte-ms y preguntas de evaluación:

· En base a los objetivos y contenidos dados hasta el momento en que se aplica la prueba.· Preguntas acordes con la edad y experiencia previa de los alumnos.· Se evitará citar los contenidos de manera literal, así como el uso de abreviaturas.· Estilo de redacción simple, cuidando el voca-bulario, acorde con el que manejan los alumnos habitualmente.· Evitar las dobles negaciones.· Evitar el uso de gerundios, participios, preposicio-nes y artículos innecesarios.· Cuidar la ortografía y normas de puntuación.· Evitar que un mismo ítem tenga varias respuestas posibles.· Evitar la interrelación entre los diferentes ítems.


· No utilizar estrategias basadas en confundir al alumno.· Referidos a conocimientos significativos; no eva-luar trivialidades.· La prueba en su conjunto debe evaluar todas las unidades de conocimiento de un mismo tema.· Elegir el tipo de ítem por su idoneidad para evaluar la acción concreta.· Agrupar los ítems por tipos y taxonomías.· Es aconsejable contrastar los ítems con otro tutor para asegurarnos de que se entiende lo que esta-mos preguntando.

Las pruebas objetivas/cerradas:· Ofrecen registros idóneos del avance de nuestros alumnos.· A través de ellas se pueden valorar múltiples obje-tivos de distinta naturaleza.· Requieren de poco tiempo del tutor para su co-rrección.· Son fáciles de aplicar.

A continuación se detallan varios modelos de pruebas objetivas.


Si no se redactan correctamente los ítems de las pruebas objetivas, los resultados de las mismas no será fiable.



Mide las destrezas productivas.utiLiDaD

EStructura

inStrucción

proS

Se pide al alumno que responda brevemente a aquello que se le pregunta.

Conteste brevemente a las cuestiones abajo planteadas

· Fáciles de elaborar.· Plasman claramente el dominio o no del tema.

· No miden conceptos complejos.· Si la frase no tiene un buen planteamiento, la valoración de las respuestas puede resultar ambigua.

contraS

5.2.4.1. pruEbaS DE Evocación

Para medir conocimientos simples.

pautas de edición:

Redacción positiva· La frase será de elaboración propia, no se copiarán de los contenidos.· Concreta y corta.· Evitar sugerir la respuesta (no usaremos artículos antes del espacio en blanco).· La frase no debe contener datos irrelevantes.· Respuesta única.· El sinónimo es correcto.· El espacio en blanco no debe ser demasiado grande.· Se puntúa en números enteros, no en fracciones.

pautas de edición:

· Los espacios serán todos del mismo tamaño.· Se especificarán el mínimo de respuestas que se solicitan.· Se utilizarán verbos como: cite, escriba, enume-re…· Se puntúa cada respuesta en números enteros, sin fracciones.

Mide las destrezas productivasutiLiDaD

EStructura

inStrucción

proS

Frase con huecos donde faltan palabras que debe rellenar el estudiante.

Rellena los huecos de forma que las oraciones sean verdaderas.

· Elimina la adivinación· Obliga a utilizar las capacidades mentales· Son de fácil valoración

· Si se abusa del formato, invitamos al estudiante a memorizar en lugar de aprender.· Sólo mide la integración de conceptos concretos.contraS

b) DE “rESpuESta brEvE”

a) pruEbaS DE “rELLEnar”

5.2.4.2. pruEbaS DE SELEcción.

El alumno elegirá una opción de las que están expues-tas. Miden las habilidades de comprensión.

Consideraciones específicas de la prueba:· Se debe evitar la complejidad, ambigüedad u ob-viedad de los enunciados.· Evitar pedir justificación de respuesta, ya que si lo hiciéramos estaríamos convirtiendo la prueba en una de desarrollo.



pruEbaS DE Evocación

Consiste en el juicio que hace el alumno de si la afirmación que se le ha presentado es verdadera o falsa.utiLiDaD

EStructura

inStrucción

proS

· Enunciado: afirmación correcta o errónea de un hecho.· Dos únicas opciones: verdadero y falso.

Concluya si las afirmaciones presentadas a continuación son verdaderas o falsas. (rodee la (V) cuando sean verdaderas y la (F) cuando sean falsas)

· Rapidez y facilidad en la corrección y puntuación.· Sirve para evaluar la comprensión de conceptos fundamentales del tema.· Obliga al discente a utilizar procesos complejos de razonamiento.· Difícil elaboración y construcción correcta de la pregunta para que no resulte ambigua ocon doble respuesta en función de la situación o condición. · La posibilidad de adivinación es del 50 %· Se induce al discente a pensar en extremos de verdadero o falso, sin tener en cuenta las variables intermedias.

contraS

DEStrEzaS tutoriaLES

Estratégias Metodológicas

Creatividad

Saberestar

Miden conocimientos simples

“Rellenar”

“Respuesta breve”

a) pruEbaS DE “vErDaDEro o faLSo”


pautas de edición:

· La redacción será homogénea para evitar la adivi-nación y las distracciones.· Deben estar claros los criterios de relación.· Siempre habrá un número igual o mayor de res-puestas que de preguntas.· Si las respuestas son para un solo enunciado o para varios.· Si se utiliza la opción de relacionar, asegurarse de que cada enunciado tenga una sola respuesta correcta.· Si por el contrario se elige la opción a asociar, se ofrecerán al menos dos posibilidades.

· Indicar que símbolos se van a utilizar para la rela-ción (flechas, números…)· Las respuestas no serán nunca más largas que las premisas.· Es aconsejable que la prueba se visualice en un golpe de vista; no debe ocupar más de una página o pantalla.· Cuidar la coherencia de la prueba presentando los enunciados en orden lógico.· Evitar los datos innecesarios.


Idóneas para evaluar aquellos objetivos que implican establecer relaciones entre conceptos.utiLiDaD

EStructura

inStrucción

proS

· Columna de premisas· Columna de respuestas

· Relacionar: una sola respuesta por premisa · Asociar: varias respuestas por premisa.

Empareja mediante flechas la (o las) respuesta correcta al enunciado de la derecha.

· Rápido de corregir· Permite evaluar temas con muchos conceptos relacionados· Especialmente útil para evaluar conceptos concretos

· Puede inducir la memorización en contra de la asociación· La mayor dificultad radica en encontrar preguntas con el mismo estilo de redacción· No miden conceptos complejos

contraS

b) ÍtEm DE EmparEjamiEnto: “aSociar y rELacionar”

pautas de edición:

· Cada ítem será independiente de los demás.· Acordes con el nivel formativo y de maduración personal del alumnado.· El vocabulario utilizado será acorde a la materia que se evalúa.· No podrán resolverse aplicando exclusivamente el sentido común del alumno.· No se utilizarán patrones de respuesta; debe elegirse la posición de las respuestas correctas al azar.· Evitar en la medida de lo posible las opciones que engloben a las demás: todas son correctas, a y b son correctas…· Sólo habrá una respuesta correcta; el resto no podrán ser correctas bajo ninguna perspectiva.· Los enunciados sarán claros, concretos, sencillos y formulados desde la objetividad.· Evitar términos absolutos como; siempre, nunca, todo..., ya que inducen la adivinación.· Los elementos comunes, como artículos o prepo-siciones estarán en el enunciado.· El estilo de redacción entre las opciones, y de éstas con el enunciado, debe ser homogéneo.·Las opciones irán en sentido descendente en líneas paralelas.



· Registro de resultados confiable y especialmente útil en la evaluación sumativa.· Son de las más utilizadas en teleformación por no requerir de aplicativos complejos para su desarrollo.

utiLiDaD

EStructura

inStrucción

proS

· Enunciado: Será una pregunta, frase incompleta o afirmación.· Opciones: más de tres posibles respuestas. No es recomendable más de cinco.· Son las posibles respuestas que concuerdan con el enunciado en estilo y redacción.· Sólo hay una opción correcta; las otras restantes se consideran distractores.

Rodee la opción correcta de las que se presentan para cada enunciado (sistema de puntuación)

· Miden las capacidades de: razonar, evocar, comprender, reconocer.· Corrección y calificación rápida y fácil.

· Posibilidad de adivinación· Difícil elaboración

contraS

c) DE “SELEcción múLtipLE”


pautas de edición:

· Las partes que debe identificar estarán señala-das.· Contiene las instrucciones de realización junto con una situación en contexto de la prueba.· La tarea consiste en identificar el motivo de la prueba, no hay redacción.· La presentación gráfica debe ser lo más parecida posible a la utilizada en los contenidos, a excepción de que el objetivo sea la identificación en diferente formato.· Será legible.· Se colocarán los espacios para las respuestas para evitar que “emborronen” el gráfico o mapa.

Módulo 5 EVALUACIÓN EN TELEFORMACIÓN�0

· Pruebas idóneas para la identificación de elementos sobre imágenes, fotografías, mapas, esquemas, etc… · Ámbitos de aplicación prácticos.

utiLiDaD

EStructura

inStrucción

proS

· El alumno ve un esquema o imagen y debe identificar sus elementos.

Identifique (…) y anote la respuesta en el espacio preparado para ello ( sistema de puntuación).

· Mide objetivos de comprensión, conocimiento y aplicación.· Su realización es atractiva para el estudiante.· Fácil de corregir y calificar.

· Requieren de una mayor elaboración previa· Precisa manejo básico de aplicativos de edición.

contraS

pautas de edición:

· La cuestión comenzará con una partícula interro-gativa (cuándo, quién, cuánto …)· No debe extenderse mucho la pregunta; será lo más corta posible.· Sólo tendrán una respuesta posible.· Estarán referidas a un concepto fundamental del curso.· El espacio para las respuestas será homogéneo en toda la prueba, evitando dar pistas de respuesta.

· Respuestas a cuestiones concretas.utiLiDaD

EStructura

inStrucción

proS

Preguntamos de manera concreta y directa con sólo una respuesta posible

Contesta de manera clara las siguientes preguntas· Se minimiza la adivinación· Fácil construcción· El alumno se limita a contestar lo que se le pide

Sólo se mide la capacidad de memorización y retención de informacióncontraS

Con esta prueba podemos evaluar diferentes tipos de conocimiento relacionados.utiLiDaD

EStructura

inStrucción

proS

Enunciado contextualizando la prueba (base), seguido de los ítems que se crean pertinentes.Lea la siguiente exposición y después conteste a las preguntas· Miden la aplicación de conocimientos.· Se utilizan para evaluar aprendizajes complejos.· La evaluación es más global

· Fácil construcción· El alumno se limita a contestar lo que se le pide

contraS

D) pruEbaS DE “iDEntificación”

E) “prEGuntaS”

f) muLtiprEGuntaS

A continuación se ofrecen algunos ejemplos de cómo podemos adaptar las pruebas para que puedan estar disponibles en una plataforma e-learning.

• pregunta de selección múltiple:


Módulo 5 EVALUACIÓN EN TELEFORMACIÓN �1



· terminar la frase:

• rellenar huecos con la opción correcta:· Podemos solicitar que rellenen uno o más huecos; en caso de ser más de 1, pondremos las respuestas en las opciones separadas por un guión. En cada hueco sólo debe faltar una palabra.

· En caso de que los huecos sean seguidos separare-mos el subrayado para indicar que son dos palabras.La organización encargada de elaborar la clasifica-ción de las ocupaciones en ________ ________ se denomina INCUAL.

a) certificados profesionalesb) gremios profesionalesc) familias profesionalesd) grupos profesionales


Módulo 5 EVALUACIÓN EN TELEFORMACIÓN ��


• Secuenciar correctamente:

Módulo 5 EVALUACIÓN EN TELEFORMACIÓN��

• Establecer relaciones en dos listas de datos:

La lista que colocaremos a la derecha contendrá las premisas y la de la izquierda las respuestas.

Si todas las respuestas que ofertamos son válidas pondremos el mismo número de premisas que de res-puestas; si no lo son, sería un error poner el mismo número, ya que crearía en el alumno la necesidad de emparejar todos los datos. Poner las listas demasiado largas también es contraproducente.

En cada columna utilizaremos términos próximos (del mismo campo semántico) y las relaciones será del mis-mo tipo en toda la prueba (términos con definiciones, teóricos con teorías…)

Un formato válido para esta prueba sería poner las premisas precedidas de números y las respuestas de letras; se trata de que las opciones tengan un formato lo más legible posible.




· multipregunta:





5.2.5. rEDacción y caLificación DE LaS pruE-baS objEtivaS

5.2.5.1 inStruccionES GEnEraLES para La rE-Dacción DE LaS pruEbaS DE EvaLuación

producción del enunciado: • Se utilizará la forma positiva evitando partículas como no, excepto…• Evitar dar pistas de respuesta.• Constituirá una guía para su razonamiento, con-teniendo los datos necesarios para la evocación de información.

la sencillez en la corrección y la emisión de juicios.• El orden de los ítems dependerá de su compleji-dad; se ordenarán empezando por los más simples a los más complejos.• Existe la opción de pedir a los alumnos que justi-fiquen sus respuestas; ya que mediante esta opción aumenta el factor subjetividad en la corrección, se pondrá especial cuidado en redactar correctamente las instrucciones de la prueba para no tener conflic-tos de esta naturaleza.

¿Cómo evitar dar pistas sobre la respuesta correcta?

· Todas las opciones deben tener la misma asociación verbal con el enunciado:

· mal: La acción de otorgar acreditación al conjunto de unidades de competencia en un curso de forma-ción ocupacional se llama:a. Diploma acreditativob. Certificación de profesionalidadc. Certificado ocupacionald. Diploma ocupacional

· bien: La acción de otorgar acreditación al con-junto de unidades de competencia en un curso de formación ocupacional se llama:a. Acreditación ocupacional b. Certificación de profesionalidadc. Certificación ocupacionald. Acreditación de profesionalidad

· Se cuidarán aspectos gramaticales como el género y el número:

· mal: Los objetivos que debe formular el tutor son:a. Específicob. Actitudinal c. Operativosd. Conductual


pruEbaS DE SELEcción

Miden la comprensión

“Verdadero o Falso”

“Asociar y relacionar”

Selección Múltiple

Identificación

Preguntas

Multipregunta

• La solución a la premisa tiene que demostrar la consecución de un objetivo concreto.

producción de las opciones:• La extensión será lo más parecida posible entre ellas.• No se utilizarán opciones que hagan correcta a más de una opción; todas son correctas, ninguna…• Coherentes con el enunciado y entre ellas (homo-geneidad respecto a la sintaxis, género, número….)• Nunca se repetirá el mismo concepto en dos op-ciones, ni con el uso de sinónimos.• En la medida de lo posible no se usarán negacio-nes (no, excepto…) ni términos absolutos (nunca, siempre, totalmente…)• No se utilizarán palabras ya expuestas en el enunciado.

producción de la respuesta correcta:• Será correcta desde todas las perspectivas po-sibles.• Solo habrá una correcta.• Determinará que el objetivo se ha cumplido.

producción de distractores:• No darán pistas sobre la opción correcta.• Se cuidará que sean adecuadas y serias.• Se utilizarán los errores cometidos más frecuen-temente por los participantes.• No deben ser correctos nunca, pero deben hacer dudar a los alumnos con respecto a la verdadera.

Para la producción y colocación de los diferentes enunciados de una prueba, se tendrán en cuenta dis-tintos factores:

• Se agruparán los conocimientos a evaluar por proximidad: conseguiremos dar coherencia a la prueba, fomentando el buen hacer de los alumnos,

· bien: Los objetivos que debe formular el tutor son:a. Específicos b. Actitudinalesc. Operativosd. Conductuales

· Habrá homogeneidad entre los grupos de datos:· mal: Asocia cada elemento de la columna de la derecha (tipos de conocimiento) con un elemento de la columna de la izquierda (nivel táxonómico).


(Está mal porque todos pertenecen al dominio cogni-tivo menos discutir, que pertenece al nivel respuesta del dominio afectivo)

· bien: Asocia cada elemento de la columna de la derecha (tipos de conocimiento) con un elemento de la columna de la izquierda (nivel táxonómico).

5.2.5.2 caLificación DE LaS pruEbaS DE Eva-Luación

Para calificar las pruebas de evaluación, se elaborarán sistemas de puntuación que aseguren la objetividad de la prueba en función de los objetivos que se pretendan medir.

· Primero se hará una corrección provisional para luego retomar los criterios de puntuación.· Es aconsejable corregir de forma anónima para evitar distractores en el juicio.· Si el tutor tiene dudas en algún momento, se debe decidir a favor del alumno. · Se aceptará cualquier respuesta que contenga el concepto correcto, aunque esté formulado desde diferente punto de vista al planteado por el tutor.


· Discutir · Clasificación · Reconocimientode métodos· Comparar· Construir · Emitir juicios

· Comprensión· Respuesta· Síntesis· Análisis· Aplicación· Evaluación

· Definición de términos· Clasificación· Reconocimiento de métodos· Comparar· Construir· Emitir juicios

· Comprensión· Conocimiento· Síntesis· Análisis· Aplicación· Evaluación



Actualmente existen en el mercado numerosas herramientas software para la evaluación online del aprendizaje del alumno (listado extraído de la página web de la Universidad politécnica de Madrid http://www.gate.upm.es/evaluacion/instru1.htm )

5.2.6. HErramiEntaS tEcnoLóGicaS para La ELaboración DE pruEbaS objEtivaS En tE-LEformación.

Existen herramientas de software libre y comerciales para diseñar pruebas cerradas de evaluación con au-tocorrección.

Invitamos en este tema a repasar las diferentes herra-mientas y aplicativos estudiados en el módulo 2 de este curso. A modo de repaso, recordamos:

SEGuimiEnto, fEED-back y EvaLuación

Agregar o retirar los contenidos accesibles por el alumno; organizar los contenidos por bloques, separar unos de otros, de las actividades, etc.

Gestor de contenidos por

el tutor

Generador de cuestionarios y evaluaciones

Para que el tutor cree sus cuestionarios y evaluaciones a su criterio. Pueden contabilizar el número de intentos y puntuaciones que un alumno hace para realizar un cuestionario. Permi-te diseñar actividades como rompecabezas, crucigramas, sopas de letras, selección múltiple, cuestionarios, etc

Estadísticas para el tutor y el alumno, donde se puede consultar el progreso de éste y en el curso. Dichos registros los ofrecen las propias plataformas e-learning y los contenidos estandarizados.

control y seguimiento

plantillas Se pueden encontrar en la Web o podemos elaborarlas nosotros mismos.

Herramientas de pago; exigen licencia comercial

Herramientas de código abierto; podemos modificar su

funcionamiento, de uso gratuitoHerramientas gratuitas

Aulaweb

CASTLE

CyberExam

ExamBuilder

Departamento de Automática, ETSI Industriales UPM

Leicester University

Virtual Learning Technologies

Bolder Design

http://aulaweb.etsii.upm.es

http://www.le.ac.uk

http://www.glow.ac.uk/resources/part4/wbat15.htm

http://www.exambuilder.com

proDucto compaÑia EnLacE



HotPotatoes

Intenet Test System

Micro Test Pro

Net Test

Quandary

QuestionMark

Quiz Rocket

QuizMaker

QuizPlease

QuizWizard

Respondus

SiberWorks Training Center

Test Pilot

Web@ssessor

WebQuiz

WebTester

WWWAssign

Half-Baked Software

Knowlton & Associates

Chariot Software Group

Utah State University

Stewart Arneil and Martin Holmes

AssessNet

LearningWare Inc

University of Hawaii

Money Tree Software

U. Pennsylvania USA

Respondus, Inc

Syber Works Web Author

ClearnLearning

ComputerPREP, Inc

Write EInternet

Weber State University

North Park University

http://web.uvic.ca

http://www.learninglynx.com

http://chariot.com

http://www.parasoft.com

http://www.halfbakedsoftware.com

http://www.questionmark.com

http://www.learningware.com

http://www.ncolr.org

http://www.quizplease.com

http://www.syntora.com

http://www.respondus.com

http://www.syberworks.com

http://www.clearlearning.com

http://www.computerprep.com

http://www.web-quiz.net

http://newchi.weber.edu

http://www.glow.ac.uk/resources/part4/wbat06.htm

proDucto compaÑia EnLacE


5.2.7. concLuSionES

Las pruebas de evaluación en teleformación requieren de un especial cuidado en su elaboración, ya que el alumno las afronta solo, por lo que se deben tener los elementos necesarios para evocar los aprendizajes y facilitar al alumno la respuesta correcta, al mismo tiempo que realmente recibe un feed-back real sobre su progreso.

Sabremos que los ítems son adecuados para evaluar a los alumnos cuando:

· Se refieren a objetivos específicamente formulados.· Se han seguido las pautas recogidas en la tabla de especificaciones.· No sugieren la respuesta.· Son precisos en su exposición.


· Hacen referencia a ideas generales y no a detalles.· Son acordes con el nivel de los alumnos.· Son positivos, no contienen negaciones.· Solo tienen una respuesta correcta.· Contienen las instrucciones necesarias para con-testarlos.· Son aplicables a cualquier curso de la materia y por cualquier tutor.

Evitaremos:• Pautas ambiguas.• Planteamientos complejos no adecuados al nivel de los alumnos.• Pistas de respuesta.• Ítems ambiguos.• Dimensión inadecuada (demasiado corto o largo)• Patrones predecibles de respuesta.• Malas condiciones de aplicación y valoración (erro-res de edición, distribución, mal planteamiento…)• Letra y formato ilegible.• Cambiar las condiciones de evaluación una vez comenzado el proceso y puestas en conocimiento de los alumnos.• Economizar espacio hasta el punto en que afecte a la estética de la prueba.• No corregir alguna prueba por la razón que sea; si el alumno la ha hecho, tiene derecho a saber el resultado.• Instrucciones complejas que puedan desmotivar o asustar a los alumnos ante la realización de la prueba.

Herramientas para la creación, distribución y gestión de cursos a través de internet.Edutec. Revista Electrónica de Tecnología Educati-va.Núm. 12. /junio 00

http://www.uib.es/depart/gte/edutec-e/Reve-lec12/deBenito.html

Herramientas web gratuitas:

http://educ810webtools.blogspot.com/2006/09/herramientas-web-debido-la-extensa.html


pruEbaS cErraDaS

tabLa DE ESpEcificacionES

Pruebas de evocación

Competencias

Niveles

Número de ítems

Medios y condiciones


HErramiEntaS tutoriaLES

Pruebas de selección

Conocimientos simples

Comprensión

“Rellenar”

“Respuesta breve”

“Verdadero o falso”

“Asociar y relacionar”

Selección múltiple

Identificación

Preguntas

Multipregunta

Plantillas

Gestor de contenidos

Control y seguimiento

Generador de cuestionarios y evaluaciones



UD. 5.�. Desarrollo de pruebas de evaluación abiertas para teleformación.


MÓDULO 5

OBJETIVOS DE LA UNIDAD: · Determinar los instrumentos de evaluación adecuados a cada actividad teórica/práctica.· Utilizar correctamente los criterios pedagógicos y en función de los objetivos en la elaboración.

CONTENIDOS:

5.3.1 Introducción

5.3.2 Determinar los instrumentos de evaluación adecuados a cada actividad teórica/práctica

5.3.3 Evaluación de contenidos teóricos mediante pruebas abiertas:

5.3.4 Evaluación de contenidos prácticos mediante pruebas abiertas

5.3.5 Instrumentos e Indicadores para la evaluación5.3.5.1 Escalas de calificación5.3.5.2 Listas de cotejo5.3.5.3 Hojas de evaluación

5.3.5.4 Ventajas e inconvenientes del uso de Indicadores

5.3.6 Conclusiones


5.3.1 introDucción

En el marco de la certificación de profesionalidad, dise-ñaremos las pruebas de acuerdo con las competencias profesionales recogidas en los perfiles profesionales para los que estamos formando, esto es, a través de los objetivos formativos que se desprenden de ellas.

Para ello utilizaremos la tabla de especificaciones que hemos visto en la unidad anterior, en la cual se re-presentan datos del tipo: relación de las unidades de competencia a evaluar, valoración del peso de cada unidad de competencia y de los contenidos teóri-cos y prácticos, puntuación máxima y mínima exigible, determinación de las pruebas que van a valorar los conocimientos (número de ítems totales y para cada unidad de competencia y nivel de complejidad ); se determinarán también las pruebas prácticas (número total de prácticas y unidades de competencia que va-mos a evaluar con cada práctica)

Las pruebas de conocimiento tanto de tipo cerrado u objetivas como las abiertas o de desarrollo, se utilizan para medir la consecución de los objetivos cognitivos, seleccionando unas u otras en función del grado de complejidad y nivel taxonómico del aprendizaje. Las pruebas prácticas serán el referente para evaluar las habilidades y destrezas que debe adquirir el alumno para el buen desempeño de su actividad profesional.En la unidad anterior nos hemos centrado en las pruebas para medir conocimientos teóricos mediante pruebas cerradas; esta unidad se centra en el desa-rrollo de las pruebas abiertas para medir tanto co-nocimientos teóricos de nivel taxonómico superior, así como habilidades y destrezas relacionadas con el ámbito psicomotriz.


En las pruebas abiertas mediremos las técnicas y métodos de trabajo usados, así como las habilida-des y destrezas que demuestra el alumno, la calidad del producto obtenido y el uso que el estudiante hace de la maquinaria, equipo y tiempo de trabajo.

Estableceremos un sistema de puntuación previa-mente que será conocido por los alumnos y que nos ayudará a garantizar, en la medida de lo posible, la objetividad en nuestros juicios y toma de decisiones.

Diseñaremos una guía de aplicación de estas prue-bas que será para uso personal como tutores, en el de-tallaremos las características de cada prueba, el pro-cedimiento de aplicación, corrección y puntuación.

5.3.2 DEtErminar LoS inStrumEntoS DE Eva-Luación aDEcuaDoS a caDa activiDaD tEó-rica/práctica

Por actividades abiertas nos referimos a todas aquellas en las que el alumno es quien produce la respuesta; pueden ser tanto actividades individuales como gru-pales.

· Las actividades individuales pueden ser: elabora-ción de informes, cuestionarios abiertos, trabajos de investigación, etc.

· Por actividades grupales entendemos aquellas ac-tividades evaluables que se desarrollan en el grupo en general o en equipos de trabajo, cuyo fin último es la construcción de un determinado aprendizaje. Para este tipo de actividadees grupales utilizaremos las herramientas disponibles en la plataforma como wikis, talleres, foros, etc. Son la espina dorsal del aprendizaje a distancia basado en el constructivis-mo, por lo que les dedicaremos especial interés en el proceso de tutorización.


prEparación DE La EvaLuación DE pruEbaS abiErtaS

Tecnicas y métodos a evaluar

Sistema de puntuación

Guía de aplicación

Toda prueba que implique producción de respuesta por parte del alumno será considerada prueba abierta.


5.3.3 EvaLuación DE contEniDoS tEóricoS mEDiantE pruEbaS abiErtaS:

pautas de edición:

· La redacción de las preguntas debe dirigir la res-puesta del alumno que debe ser original y correc-tamente expresada.· Solo se utilizarán cuando no sea posible evaluar el objetivo perseguido mediante preguntas objetivas.· Deben tener la dificultad justa para que constitu-yan un desafío para el alumno· Se evitarán las instrucciones que inciten respues-tas donde sólo se ponga en juego la memoria, como: enumera, quién, qué, etc… Deberán invitar a la re-flexión y a la construcción de la propia respuesta.· Serán adecuadas al nivel de conocimiento del alumno.· Se establecerán criterios para su medición, asig-nando un valor a cada elemento de la respuesta.· Los términos utilizados serán comprensibles para el alumno que en todo momento sabrá lo que se le pide.


Valoran objetivos relacionados con: producir, integrar, organizar, expresar…utiLiDaD

tipoS

inStrucción

proS

· Respuesta extensa: no tiene límite de desarrollo.· Respuesta controlada: se indica la longitud de respuesta esperada

· Contesta a las siguientes cuestiones de acuerdo con lo aprendido en el curso.· Argumenta las razones por las que consideras útil la Teoría X.

· Son más fáciles de construir que las pruebas objetivas· Miden la capacidad del alumno de expresar, aplicar, analizar, sintetizar y valorar· Refuerzan el aprendizaje· Invitan a la investigación, a la reflexión y a la ampliación de lo aprendido en los contenidos.· Se pueden valorar aspectos como el estilo de redacción y la ortografía· Dan libertad de expresión al alumno· Fomentan el estudio exhaustivo· Incita al ensayo de procedimientos de emisión de respuesta· La adivinación queda minimizada al máximo

· Entra en juego la subjetividad en el juicio al valorar los resultados, sobre todo en las de tipo extenso· Las respuestas son heterogéneas en extensión, contenido y estilo de redacción· Costosa corrección en cuanto a dificultad y tiempo

contraS

AnalizarCalcularClasificarCompararComprobarCriticar

DefinirDescribirDiscutirEfectuarExplicarIlustrar

InterpretarJustificarProbarRealizarResolver

tipos de pruebas abiertas o de desarrollo

La variedad de las pruebas abiertas o de desarrollo es muy amplia. Se pueden plantear como posibles prue-bas abiertas:

• Informes escritos• Presentaciones en texto o en formatos multimedia• Editoriales• Investigaciones • Argumentaciones• Ensayos • Trabajos en equipo• Etc.

El formato de las pruebas puede ser:

· breve: consistirá en contestar a una pregunta y jus-tificar la respuesta. Se evaluará, además del contenido, la capacidad de síntesis.

· Extenso: consistirá en exponer los conocimientos relativos a un tema, organizando los datos a criterio propio. Se evaluará también la capacidad de análisis.

Lista de verbos posibles para redactar ítems de desarrollo

5.3.4 EvaLuación DE contEniDoS prácticoS mEDiantE pruEbaS abiErtaS

Para la evaluación de determinados conocimientos, habilidades y destrezas, se pueden desarrollar una serie de actividades prácticas con herramientas que faciliten la toma de datos y, por tanto, la objetividad en la toma de decisiones final sobre el alcance de los objetivos por parte de los alumnos. Con las pruebas de tipo práctico, se evalúa la apli-cabilidad de los contenidos teóricos. Al alumno se le expone un supuesto, una simulación, un trabajo y se le pide:

1. Reconocer/identificar el procedimiento utili-zado justificando su aplicación al supuesto.2. aplicar un procedimiento mediante simulaciones a pequeña escala.3. Ejecutar una tarea en la que intervengan mues-tras representativas de los objetivos que se van a evaluar.


Al igual que cuando se diseñan una serie de pruebas para medir conocimientos, para evaluar destrezas y habilidades prácticas se seguirán una serie de pasos.

1. Se identificarán las competencias profesionales que se van a evaluar, especificando cuales van a ser los criterios de ejecución correctos.2. Se elegirá el tipo de prueba más idónea para evaluar cada competencia; para ello será necesario establecer correctamente la tarea propuesta, de-sarrollar las instrucciones necesarias para su de-sarrollo y las condiciones en las que se realizará la prueba. 3. Se determinará si la prueba se realizará de forma individual, en el grupo o en equipos de trabajo.4. Se especificará un sistema de puntuación, un procedimiento y los instrumentos a emplear. 5. Se elaborará una hoja de evaluación con los indi-cadores de las competencias a observar y evaluar.6. Por último, y tras la aplicación de la prueba, se realizarán los registros y el cálculo de las puntua-ciones correspondientes.


Cuando los objetivos de aprendisaje cognitivos se correspondan con niveles taxonómicos complejos, será deseable la utilización de pruebas abiertas de evaluación para evaluar si se han conseguido.

Identificar/reconocer procedimientos

Aplicación simulada

Ejecución de la tarea

Etapas de la prueba

procESo DE DiSEÑo y Extracción DE rESuLtaDoS DE pruEbaS prácticaS

Identificación de competencias

Selección del tipo de prueba

Selección de modalidad: individual o grupal

Elección de sistema, procedimiento e instrumentos evaluadores.

Elaboración de la hoja de evaluación

Registro y cálculo de puntuaciones


5.3.5 inStrumEntoS E inDicaDorES para La EvaLuación

Si recordamos lo visto en la primera Unidad del mó-dulo, cuando se evalúa en Formación, es necesario determinar qué criterios y qué indicadores vamos a utilizar que nos permitan medir la eficacia del proceso y el buen desempeño de los integrantes involucrados. Para elaborar los criterios e indicadores de evaluación, se parte de los objetivos definidos como hemos seña-lado anteriormente.

Las dimensiones señaladas por Lázaro (1992) para formular indicadores, relativas al constructo, la me-dida y los aspectos formales, pueden traducirse en instrumentos que permitan valorar la presencia o ausencia de los elementos que definen esas dimensio-nes o el grado en que éstas se cumplen. Te animamos a revisar de nuevo la Unidad 1 de este módulo, donde se recogían las características que deben reunir los indicadores en su construcción.

Las herramientas con las que podamos contar en ese sentido y de las que dejamos algún modelo de refe-rencia son:

1. Escalas de calificación2. Listas de cotejo3. Hojas de evaluación

Dichos instrumentos nos permiten:· Observar y registrar determinadas conductas a evaluar.· Establecer una única referencia evaluadora para todos los alumnos.· Establecer un método común de evaluación in-dependientemente del tutor que evalúe las con-ductas.· Objetivar aquellos aspectos que en principio son

numéricasCuando se puede medir el resultado de la prueba en escalas numéricas (por ejemplo del 1 al 5, del 1 al 100, etc.).

GráficasCuando se registra el resultado en términos de fre-cuencia u otra categoría (por ejemplo: siempre, gene-ralmente, rara vez o nunca).

DescriptivasCuando se añade al registro una descripción breve pero concisa, que permite reducir la ambigüedad en su interpretación para su posterior juicio.

Consejos útiles:• Los ítems deben ser directamente observables.• Sólo deben tener una interpretación posible cuan-do los lea el alumno.• Aplicable por cualquier tutor.• Se aconseja que el número de categoría de la es-cala sea entre 3 y 7 para reducir la subjetividad.

Para asegurar la emisión de juicios y toma de deci-siones objetiva podemos utilizar los indicadores de evaluación, que, recordamos, son categorías, criterios o reglas que resaltan los elementos críticos del éxito o fracaso del alumno.

A modo de ejemplo se presenta una escala de califi-cación gráfica recogiendo aspectos en la produc-ción escrita por parte del alumno (elaboraremos las nuestras de acuerdo a nuestros criterios de calidad).


cualitativos.· Evaluar objetivos tanto conceptuales, procedi-mentales o actitudinales

Como principales desventajas de estos instrumentos señalamos:

· No permiten mucha flexibilidad al evaluador.· Aunque permiten objetivar la evaluación, pueden existir interferencias personales de los evaluadores en el momento de puntuar.· Requiere procedimientos estadísticos para extraer conclusiones finales para evitar los sesgos inheren-tes a este tipo de instrumentos. · Se tiende a la rutina y a generalizar resultados.

5.3.5.1 EScaLaS DE caLificación

Las escalas de calificación suministran un procedi-miento sistemático para obtener información sobre las observaciones docentes. Las escalas se componen de una serie de características o indicadores junto a algún tipo de escala en la que se indica el grado en que dichos indicadores se producen. Al igual que cualquier otro instrumento de evaluación, las escalas de califica-ción deben contemplarse dentro de la programación y diseño del curso, teniendo en cuenta los objetivos de aprendizaje y la metodología a utilizar por el tutor.

Las escalas de calificación se desarrollan elaborando una serie de ítems sobre las unidades de competencia a evaluar. Las escalas pueden ser de tres tipos:

Escalas de calificación

Numéricas Gráficas Descriptivas



informE EScrito

Cubre el tema en profundidad

Incluye información actualizada

Incluye datos relevantes

Incluye detalles fundamentales

La organización es adecuada

Utiliza el lenguaje correctamente

Vocabulario variado y preciso

Buena presentación

Contiene ayudas visuales

nunca ocaSionaLmEntE frEcuEntEmEntE SiEmprE

prESEntación

Presenta un enfoque original

Organiza adecuadamente la secuencia

Incluye contenidos actualizados

Se desenvuelve con agilidad y claridad

Mantiene un nivel de interés durante todo el desarrollo

Incluye contenidos actualizados




trabajo En Equipo

Liderazgo rotativo y efectivo

Intercambio de ideas

Actitudes positivas

Gestión del tiempo

Surgen alternativas de organización

Hay síntesis y revisiones parciales

Uso de varios recursos para recopilar información

Resultado satisfactorio para todos


EDitoriaL

Lenguaje escrito de manera clara e interesante

Contiene abundante información de soporte

Contiene al menos, una evaluación manifiesta

Contiene al menos, tres razones para fundamentarla

Convencen a la audiencia

Resumen final de los argumentos

Gramática y ortografía correctas




invEStiGación

El tema fue claramente identificado

La información recolectada es relevante

Ofrecen alternativas de solución

El producto final es adecuado


una arGumEntación

Reúne información suficiente para sostenerse

Utiliza datos de diversos medios y fuentes

Prepara una buena defensa de su postura

Reúne suficientes ejemplos

Atiende y considera las posiciones opuestas


prESEntación muLtimEDia

Contenidos actualizados y relevantes

Recursos visuales variados y de calidad

Formato efectivo para mostrar los conceptos fundamentales

Lenguaje y estilo apropiados a la audiencia

Diseño técnicamente correcto



En este tipo de instrumento se podría recurrir a la descripción de cada uno de los puntos de la escala, incorporando todavía mayores elementos objetivos y una mayor precisión.

Por ejemplo, en el caso anterior, se podría añadir el número de veces que significa “ocasionalmente” o “frecuentemente”

Un ejemplo de escala numérica sería:

La consideración de los indicadores en forma de índi-ces numéricos o descriptivos, no debe hacernos olvi-dar que el tratamiento de tales valores numéricos debe respetar algunas reglas (Lázaro 1992):

• No deben sumarse indicadores cuando uno es causa de otro.• No deben sumarse indicadores cuando uno forma parte del otro, el peso dado al genérico se debe distribuir entre los que lo componen.• Si los objetivos o finalidades de cada indicador son diferentes, no parece adecuado establecer nin-gún tipo de combinación matemática.

5.3.5.2 LiStaS DE cotEjo

Una lista de corroboración o cotejo es semejante a la escala de calificaciones; la diferencia estriba en el tipo de juicio que se solicita. En la escala de calificación se indicaba el grado en el cual se ha logrado cada una de las características o su frecuencia de aparición; la lista de cotejo, en cambio, es un método que registra la presencia o ausencia de una característica, o de una acción: exige un simple juicio de “sí” o “no”.

Las listas de cotejo son instrumentos de “verificación”, que permiten evaluar una serie de aspectos como conductas, conocimientos, actitudes. Consisten en un listado de indicadores de aquello que se pretende evaluar, al lado de los que el tutor adjuntará un “tic” (visto bueno, una cruz, etc..) en el caso de que se dé o no dicha conducta.

Su nombre en inglés es checking list, ya que actúa como un mecanismo de revisión durante el proceso de los indicadores establecidos según los criterios de evaluación. Es un instrumento que permite intervenir durante el proceso de enseñanza-aprendizaje, ya que


puede graficar estados de avance o tareas pendientes. Por ello, las listas de cotejo poseen un amplio rango de aplicaciones, y pueden ser fácilmente adaptadas a la situación requerida. Permiten saber si realmente se produce el comportamiento que pretende evaluar la prueba; se utilizan para medir conductas fácilmente observables. Tienen la misma forma que las escalas de calificación.

Las listas de cotejo son muy útiles para:· Evaluar productos terminados, siempre que pueda evaluarse por la sola presencia o ausencia de ele-mentos. En este caso, los indicadores consistirán en definir las características que debe poseer el producto terminado y verificar en el momento de la evaluación si posee o no dichas características. · Evaluar contenidos actitudinales; para ello se es-tablecen cuadros de doble entrada, con el listado de las conductas significativas en un eje y el listado de los alumnos en el otro.

Consejos útiles para elaborar una lista de cotejo:• Identificar y describir claramente cada uno de las conductas a registrar.· Añadir todas aquellas conductas que son general-mente errores comunes.• Ordenar las conductas en orden tal y como se espera que ocurran en el tiempo. • Se utilizarán para evaluar acciones en términos de “sí se produce” o “no se produce”.• Escribir un solo ítem por cada una de las destre-zas observables; de esta manera se podrán evaluar todas.• Redactar los ítems en positivo o negativo; esto se tendrá en cuenta para el momento de la puntuación, ya que de otra manera la calificación podría variar.

frecuencia de participación del alumno en un foro de debate

1

2

�

�

5

Nunca

Rara vez

Ocasionalmente

Frecuentemente

Siempre

Un ejemplo de escala descriptiva podría ser:

frecuencia de participación del alumno en un foro de debate

.............................................

.............................................

.............................................

Nunca, alumno pasivo

Grado de participación similar a otros miembros

Participa más que otros miembros

Aunque lo ideal es producir una tabla de indicadores para cada uno de los aspectos a evaluar, podemos tomar como referencia indicadores establecidos pre-viamente y adaptarlos a nuestras necesidades. Imagi-nemos que se quiere evaluar el tipo de relación esta-blecida por un alumno con el resto de compañeros. Si tomamos como referencia la siguiente lista, segura-mente muchos de los indicadores establecidos podrán ser reutilizados para nuestros propósitos.


En ellas no sólo se registrarán las actividades abiertas registradas mediante diferentes instrumentos, sino todo aquello que sea evaluable en el curso y que se haya realizado por otros medios; por ejemplo, aquellas actividades de tipo “cerrado” o que nos proporcionan las plataformas e-learning.

En el siguiente esquema se expresan algunos de los aspectos evaluables y a considerar en la confección de estos instrumentos de evaluación:


indicadores para evaluar la relación con los compañeros

Llama a sus compañeros por su nombre, evitando apodos que les molesten.

Respeta la opinión de sus compañeros aunque no esté de acuerdo.

Apoya las decisiones de la mayoría.

Ayuda a los compañeros que tienen dificultades.

Establece relación con casi todos los compañeros.

Las relaciones que establece son cordiales

Le gusta trabajar en equipo

Si no

Imaginemos que se plantea una actividad de grupo a realizar en un foro de debate. Para evaluar no sólo la cantidad sino la calidad de la intervención por parte del alumno, podríamos confeccionar una lista de cotejo sobre si se producen o no una serie de comportamien-tos. Por ejemplo:

indicadores para evaluar la relación con los compañeros

Respeto el derecho de palabra de los compañeros.

Explica claramente la opinión

Hace aportaciones nuevas a la discusión

Utiliza un lenguaje claro

Estimula la participación de los demás

Domina el contenido

Sitúa su argumento en el contexto

Si no

5.3.5.3 HojaS DE EvaLuación

Es el instrumento de registro que se utilizará para re-flejar lo que observamos en el desarrollo de la prueba práctica. Es una integración de los dos instrumentos citados anteriormente ya que podemos encontrar gra-dos de consecución de los objetivos, obtenidos a tra-vés de las escalas de calificación, así como información sobre si se ha producido o no la conducta deseada, obtenida a través de las listas de cotejo. Será necesario crear las oportunas hojas de evalua-ción de manera que se recojan todos los datos obteni-dos a través de todos los instrumentos de evaluación.

Precisión en el desempeño

Evaluamos

Secuencialidad

Tiempo de ejecución

Organización del trabajo

Uso correcto de herramientas y materiales

Respeto por las normas de seguridad e higiene

Habilidades mediante destrezas



5.3.5.4 vEntajaS E inconvEniEntE DEL uSo DE inDicaDorES

Las principales ventajas e inconvenientes que pode-mos encontrar con el uso de los instrumentos basados en indicadores, según De Miguel (1995) son :

vEntajaS

• Aportan información válida, verificable y relativa-mente neutral.

• Posibilitan establecer comparaciones en función de diversos criterios.

• Permiten que los juicios de valor-valoraciones- se apoyen sobre datos bastante objetivos.

• Facilitan el consenso entre la audiencia implicada.

• Otorgan credibilidad a la toma de decisiones

• Añaden transparencia a todo el proceso evaluador.

incovEniEntES

• Con frecuencia se elaboran a partir de modelos teó-ricos muy sencillos por lo que el indicador ofrece una información muy simple y limitada.

• En algunos casos se introducen sesgos en la evalua-ción por diversas razones.

• Habitualmente existen problemas en la recogida y análisis de los datos, especialmente los referidos al nivel de agregación, lo que cuestiona la objetividad y viabilidad del indicador.

• La falta de homogeneidad en los criterios impide obtener medidas comparables.

• Problemas derivados de sus costos y ámbito de aplicación frecuentemente determinan que muchos indicadores se utilicen de forma distorsionada.

• Pueden orientar toda la ejecución de los programas con el fin de alcanzar los indicadores y alterar, tam-bién, la toma de decisiones.

5.3.6 concLuSionES

Quizás algunas de las competencias prácticas a eva-luar deberán programarse para realizar en sesiones presenciales; éste será el caso para determinadas ha-bilidades psicomotrices, ya que la necesidad de reali-zar una serie de conductas o la utilización de una serie de recursos, hará indispensable la presencialidad, no sólo para la evaluación, sino también para el propio aprendizaje.

Sin embargo, no debemos confundir ni relacionar prueba práctica con sesión presencial. Hay muchas competencias de tipo práctico que pueden ser fá-cilmente evaluables en la distancia. Es el caso claro de las actividades de desarrollo de tipo cognoscitivo, diseñadas para aquellos objetivos, que, por su nivel taxonómico, no pueden ser evaluadas mediante prue-bas cerradas vistas en la Unidad anterior. También será posible aplicar las técnicas vistas en esta Unidad para aquellos objetivos actitudinales para los que podamos establecer unos indicadores observables; y, por último, para aquellas conductas de tipo psicomotriz que pue-dan ser evaluables en la distancia. Un ejemplo claro de ellas lo encontramos en las pruebas orales de idiomas a través de audio o videoconferencia, la evaluación de determinadas habilidades sociales a través de los dife-rentes medios telemáticos o bien el desarrollo práctico de determinados aplicativos informáticos, por señalar algunas.

Recordemos la importancia de establecer una meto-dología blended o con sesiones presenciales, en fun-ción de los objetivos a conseguir. Dejaremos para las sesiones presenciales sólo aquellos objetivos que no puedan ser conseguidos y/o evaluados en la distancia. Con el desarrollo tecnológico de los últimos tiempos, están apareciendo en el mercado nuevos instrumentos


y simuladores que están facilitando no sólo la adquisi-ción de determinadas competencias hasta el momento impensables, sino la evaluación de las mismas a través de los medios telemáticos. Un ejemplo de estos si-muladores lo podemos encontrar en los simuladores creados para la conducción de determinados medios de transporte, aunque todavía inaccesibles por su alto coste económico.


Utilizaremos sesiones presenciales para evaluar aquellas competencias prácticas que no sea posible evaluar a distancia.

Artículos en la página de la universidad politéc-nica de madrid que hablan sobre aspectos de la evaluación:

http://www.gate.upm.es/evaluacion/articulos.htm

Te animamos a que amplíes la información que pre-cises en la numerosa literatura escrita sobre evalua-ción y los instrumentos vistos en esta Unidad. Utiliza tu buscador y te llevará a numerosas referencias donde podrás encontrar la información que precises e innumerables ejemplos.¡A navegar!



pruEbaS abiErtaS


inStrumEntoSActividad teórica

Actividad práctica

Respuesta extensa

Respuesta controlada

Reconocer/Identificar

Aplicar

Ejecutar

Guía de aplicación

Escalas de calificación

Hojas de evaluación

Lista de cotejo

Gráficas

Descriptivas

Numéricas

Criterios de evaluación



UD. 5.�. La evaluación de actitudes en teleformación

MÓDULO 5

OBJETIVOS DE LA UNIDAD: · Determinar los medios más adecuados para la evaluación de actitudes.· Aplicar correctamente los criterios técnicos para la confección de instrumentos de evaluación.

CONTENIDOS:

5.4.1. Introducción

5.4.2 Instrumentos de evaluación de actitudes

5.4.3 Elaboración de pruebas colaborativas.

5.4.4 Instrumentos de registro.

5.4.5 Conclusiones



¿Qué competencias son las que realmente estamos evaluando cuando utilizamos el término actitudes?

1. De ámbito social: trabajo en equipo, colabo-ración, respeto, empatía, etc…2. participación: implicación en el trabajo, interés, responsabilidad, etc…3. personales: crecimiento y desarrollo personal, apertura al aprendizaje, espíritu crítico, etc…


5.4.1. introDucción

La evaluación consiste en la comprobación de los resultados del aprendizaje en el ámbito de los cono-cimientos, procedimientos y actitudes. La educación debe perseguir el desarrollo no sólo académico, sino también personal de los alumnos; es por ello necesario que en las acciones formativas se fomente el pen-samiento crítico y la formación de opiniones propias sobre los diferentes temas.

Los objetivos que implican el desarrollo de actitudes son aquellos que plantean más dificultades a la hora de planificar actividades y fomentar experiencias para desarrollarlos; pero es en el momento de la evalua-ción de las mismas donde los docentes encuentran un mayor número de problemas. Las actitudes que manifiestan los discentes a lo largo de las diferentes acciones formativas han sido las eternas olvidadas en los momentos de evaluación. Es por ello que se destina una Unidad específica para tratar este tema. Sin embargo, todos los instrumentos estudiados en la Unidad anterior nos pueden ser de gran ayuda para registrar conductas referidas a determinadas actitu-des, como es el caso de las escalas de calificación o listas de cotejo.

El tratamiento de lo afectivo – actitudinal, tanto en las programaciones didácticas como en los contenidos, suele hacerse de forma genérica, sin llegar en la ma-yoría de los casos, a trabajar aspectos específicos y concretos de las actitudes. Si esto es una realidad en la formación presencial, en e-learning se hace todavía más patente, ya que, no en pocas ocasiones, los obje-tivos actitudinales han estado ausentes de las progra-maciones y más aún de los criterios evaluadores.

actituDES

SOCIALES PERSONALES

PARTICIPACIÓN

La evaluación de actitudes en teleformación es posible y necesaria.

EVALUACIÓN EN EDUCACIÓN A DISTANCIA: LA EX-PERIENCIA DEL INSTITUTO DE INFORMÁTICA EDUCA-TIVA DE LA UNIVERSIDAD DE LA FRONTERA, CHILE.http://www.virtualeduca.org/virtualeduca/virtual/actas2002/actas02/804.pdf

LA EVALUACIÓN DE LOS APRENDIZAJES ENEDUCACIÓN A DISTANCIAMinisterio de Educación. República de Perú.http://portal.perueduca.edu.pe/comunidad/xtras/web/catalogo_multimedia/doc_med/DI-NESST_evaluacion_en_educacion_secundaria_a_distancia_2003.pdf

DE LA EVALUACIÓN POR PLANTILLA A LA EVALUA-CIÓN INTEGRADA: EL RETO DE LA EDUCACIÓN A DISTANCIA UPEL-IMPM Instituto de Mejoramiento del Profesio-nal del Magisterio (VIII Congreso de Educación a Distancia CREAD MERCOSUR/SUL 2004)http://fgsnet.nova.edu/cread2/pdf/Medina.pdf

5.4.2 inStrumEntoS DE EvaLuación DE ac-tituDES

En la evaluación de actitudes se hace especialmente difícil la aplicación de métodos cuantitativos. Para rea-lizar la evaluación de las actitudes en teleformación, además de las técnicas e instrumentos vistas en la Unidad anterior, podemos servirnos de diferentes téc-nicas para la recogida de datos. Dichas técnicas tam-bién podrán ser útiles para la evaluación de otro tipo de objetivos como los conceptuales o procedimentales:

1. observación sistemática. 2. Entrevistas personales o grupales.3. Lista de control: refleja las actitudes que va-mos a evaluar y nos permite visionar las que hemos evaluado o no en todo momento, además del grado en el que los alumnos las han alcanzado.4. registro de incidencias y hechos resalta-bles: puede ser una tabla con los nombres de nues-tros alumnos donde iremos apuntando las actitudes que demuestras en la realización de actividades y que sean merecedores de evaluación.


competencias profesionales que deben alcanzar. La manera de elaborar los cuestionarios y de aplicarlos es semejante a la de la detección de necesidades vista en el módulo 3.Para que un cuestionario de estas características sea evaluable, se deben definir los criterios de evaluación a aplicar en la información recogida. Las entrevistas pueden realizarse de forma individual o en grupo.

Las entrevistas pueden ser:1. abiertas. No tienen estructura definida; se intro-duce el tema y los alumnos hablan. Existe peligro de no obtener la información que se desea.2. Semicerradas. Se establece un guión general que se sigue en el proceso, pero permiten la impro-visación.3. cerradas. Muy estructuradas, con realización de las preguntas exactas de acuerdo con la información que se quiere recopilar. Suelen ser individuales por el carácter privado que puedan tener las preguntas.4. Exhaustivas. Son de un mayor nivel de detalle en las preguntas. Al igual que en las entrevistas ce-rradas, suelen realizarse de forma individual.

¿Qué beneficios aporta la Técnica de entrevista?1. Es una fuente inagotable de información, ya que las entrevistas son un canal directo de comunicación.2. De la entrevista se desprenden innumerables ma-tices del discurso personal del alumno. 3. Aporta información complementaria para evaluar el proceso.

¿Sobre qué se pregunta a los alumnos? Las preguntas a realizar en la entrevista pueden ser muy variadas: autoevaluación y sensación de progreso, necesidades y expectativas, problemas encontrados, diferentes puntos de vista y funcionamiento general de la acción formativa.


Entrevistas

Observación

Técnicas descriptivas

instrumentos para evaluar actitudes

5.4.2.1 técnicaS DE EntrEviSta

Mediante la técnica de entrevista, se pregunta a los alumnos por cuestiones que puedan indicar datos sobre sus comportamientos, actitudes, intereses, expectativas y motivaciones relacionadas con las

técnicas de entrevistahttp://lsi.ugr.es/~ig1/docis/entre1.doc.sxi.pdf

técnicas de recolección de datoswww.losrecursoshumanos.com/focus-group.htm

Entrevistasabiertas

rEcopiLaciónDE DatoS

Entrevistassemicerradas Entrevistas

Entrevistasexhaustivas

tando nuestro parecer en el momento) y anecdota-rios (sólo describimos los hechos para leerlos poste-riormente, alejados de la situación).

Se recomienda utilizar estas técnicas con las siguien-tes consideraciones:

• Establecer a priori aquello que se quiere registrar.• Destacar aspectos tanto positivos como negati-vos del alumno.• Observar de forma periódica al alumno y de-tectar las necesidades que pueda presentar en el proceso. • Registrar el hecho tan pronto como dé lugar.• Registrar la frecuencia de la conducta anotada para poderla considerar representativa o no.


5.4.2.2 técnicaS DE obSErvación

Mediante esta técnica se observan determinadas con-ductas establecidas en los criterios de evaluación. Es una técnica cualitativa y se aplica de forma directa y continua a lo largo del proceso formativo. Para dotar de mayor objetividad a la observación del tutor, se aconseja el uso de instrumentos de registro, como listas de cotejo o escalas de calificación.

Se observarán aspectos tales como:• Cooperación: ayuda a los demás.• Participación: propone activamente.• Disposición al trabajo individual o en grupo.• Aportaciones constructivas.• Capacidad de adaptación: acepta cambios, se adapta a personas y contextos.• Comunicación con los alumnos y con el tutor: expresión clara de sus ideas, escucha activa.• Iniciativa: emprendedor, soluciona incidencias.• Organización: secuencia bien las tareas.• Constancia.• Responsabilidad: acaba lo que empieza, cumple con el trabajo.• …

5.4.2.3 técnicaS DEScriptivaS

Mediante esta técnica se registra aquello que llama la atención sobre la actitud de los alumnos en el de-sarrollo del curso de formación. La información que ofrece es cualitativa y con mucho peso de subjetividad por parte del tutor, por lo que nunca tendrá un peso importante en la emisión de juicios.

Se pueden utilizar diarios (hojas donde describimos los hechos que a nuestro juicio son significativos, ano-


El diario del profesor como instrumento de valoración

http://www.naullibres.com/html/aaa/descargas/geaclio/diarioprofesor.pdf

5.4.3 ELaboración DE pruEbaS coLabora-tivaS.

Las actividades abiertas y colaborativas tienen espe-cial mención en esta unidad, ya que es a través de la participación y la implicación del discente con el resto del grupo donde pueden verse un mayor número de actitudes relacionadas con el trabajo en equipo, el tipo de comunicación establecida, el respeto a las normas, etc…

Para plantear una prueba colaborativa, han de tenerse en cuenta una serie de aspectos básicos:

• Se seleccionará el soporte de la actividad, bien puede realizarse en la plataforma e-learning a través de foros, chats, talleres, etc…; bien a través de otras herramientas colaborativas externas. • Independientemente del soporte, para desarrollar la actividad, se potenciará el uso de recursos co-laborativos: foros, chats, mensajería, etc; se deter-minará si la comunicación será entre los miembros de cada grupo, entre grupos o entre todos los alumnos.• Se agrupará a los alumnos según intereses peda-gógicos o perfiles personales o profesionales.• Se informará a los alumnos del esqueleto de la actividad: objetivos a alcanzar, roles del grupo, responsabilidad grupal e individual y recursos a uti-lizar.• Se establecerán los criterios de evaluación antes de comenzar la actividad.

Desde las pruebas colaborativas y para ayudar a con-seguir determinados objetivos del ámbito actitudinal, las pautas para desarrollar la actividad serán:

• Fomento del aprendizaje por descubrimiento.• Experimentación con y sobre los conceptos aprendidos.

• El enunciado de la actividad actuará como media-dor del aprendizaje.• El alumno debe apropiarse de las ideas que resul-ten del aprendizaje en cuestión.• Cada grupo presentará la actividad de la manera que el tutor establezca de antemano.• Se potenciará el debate, el intercambio y defensa de diferentes hipótesis, incitando a la construcción social del conocimiento.• Utilización de recursos colaborativos, donde los alumnos pueden construir la documentación.• Se potenciará la búsqueda de bibliografía.• Fomento de la transferencia entre los grupos mediante el análisis y reflexión de los conceptos estudiados.• El tutor como mediador en el proceso.

La información que será necesario ofrecer a los alum-nos al inicio de las actividades colaborativas serán:

• Objetivos específicos que se van a medir y criterios de evaluación.• Organización de los participantes; número de gru-pos, número de alumnos por grupo…• Fechas objetivo.• Medios y tipo de comunicación que se va a esta-blecer: síncrona y/o asíncrona.• Temas a desarrollar.

Fases en la realización de las pruebas colaborativas:

1. preparación. En esta fase se ofrece a los alumnos los materiales necesarios y una guía de ejecución que contendrá pre-guntas de evaluación, propuestas, etc… Se explicará qué es lo que se espera de ello y cómo se espera que lo hagan. Es en esta fase cuando se determinan los roles a desempeñar dentro de los grupos.


2. puesta en marcha de la actividad. En esta fase se inicia la actividad propiamente di-cha; las herramientas deben estar disponibles y se solucionan los problemas que puedan surgir, tanto de aspectos técnicos como metodológicos.

3. Desarrollo. En esta fase se recopila la información y se estructura el material seleccionado; se realiza el trabajo siguiendo los criterios del grupo, redacción de conclusiones y puesta en común.

4. finalización. Exposición de conclusiones por parte del portavoz nombrado en el grupo. Se puede recopilar la informa-ción aportada por cada grupo en la biblioteca virtual.

5.4.3.1 EvaLuación DE La coLaboración.

En las actividades colaborativas, vamos a encontrar una gran diversidad individual dentro de los grupos de trabajo. Esta cuestión que puede ser una fuente de riqueza personal para todos los implicados, frecuen-temente supone un problema para evaluar, ya que, a priori, evaluando de la forma más objetiva posible, deberíamos evaluar el resultado final de forma global, es decir, el resultado final del grupo de trabajo. Sin embargo, no todos los alumnos trabajan igual y se implican de la misma manera en las actividades de los equipos de trabajo. En teleformación podemos abordar esta cuestión sin grandes problemas por la riqueza de registros de colaboración que tenemos disponibles, registrando no sólo los resultados obtenidos, sino los procesos seguidos por cada uno de los integrantes del grupo.

Criterios de evaluación y actuaciones tutoriales:• Evaluación del nivel de participación individual mediante registros que nos dan información de total de conexiones, total de registros, máximos por día, frecuencia mínima y máxima semanal, así como la cantidad y calidad de las intervenciones realizadas en el trabajo grupal. • Evaluación del material elaborado, rendimiento grupal, aplicando los criterios de evaluación míni-mos comunicados a los alumnos.• Evaluación de la presentación de conclusiones.

En base a las teorías de Bourguin, 2001, Cabrera, 2004, González, 2005, se definen cinco variables sobre la puesta en marcha del aprendizaje colaborativo:

1) interdependencia positiva: es la base del apren-dizaje colaborativo; se evaluará el desempeño de cada miembro del grupo para garantizar el éxito de la inte-


criterios de revisión de un curso que utiliza aprendizaje basado en problemas

http://64.233.183.104/search?q=cache:x4kbFo-q7qzMJ:www.itesm.mx/va/dide/pdhd_2001/crite-rios_pbl_dacs.doc+ELABORACI%C3%93N+DE+PRUEBAS+COLABORATIVAS&hl=es&ct=clnk&cd=7

EVALUAR A TRAVÉS DE INTERNET. REVISTA PIXEL-BIT Nº 24 JULIO 2004. Universidad de Las Palmas de Gran Canaria(España-UE)

http://www.sav.us.es/pixelbit/pixelbit/articulos/n24/n24art/art2406.htm

gración del aprendizaje.

2) interacción. Calidad y cantidad de interacciones entre los participantes.

3) responsabilidad individual y de grupo: Cada miembro del grupo tiene asignados objetivos evalua-bles que contribuyen al logro de los objetivos grupa-les. Se puede asignar al supervisor la responsabilidad del logro de objetivos grupales.

4) aprendizaje de habilidades sociales: se eva-lúan por observación. Estarán debidamente potencia-das para poder evaluarlas.

5) revisión del proceso del grupo. Esta tarea es compartida entre el tutor y los alumnos. Se evalúan procesos de síntesis, ilustración de conclusiones con elementos gráficos, supuestos prácticos …; las pre-guntas de evaluación presentadas en la guía de desa-rrollo serán el requisito mínimo para considerar que se ha alcanzado el objetivo.


5.4.4 inStrumEntoS DE rEGiStro

El tutor a lo largo de una acción formativa irá regis-trando aquellas conductas de interés y los diferentes acontecimientos sucedidos en el curso. Para ello se ayudará de los diferentes instrumentos vistos a lo largo de este módulo, así como de diferentes hojas de registro donde guardar los resultados obtenidos en el proceso.

Las fichas de control u hojas de registro serán de utilidad para registrar y puntuar los logros y progresos de los alumnos. Dichas hojas de registro pueden tomar la forma o construirse a partir de diferentes instrumen-tos como listas o escalas.

· Control de fechas objetivo y puntuaciones aisladas obtenidas:

Relación de las actividades entregadas, permitien-do la comparación entre los alumnos del grupo, y la visión de progreso. Suelen realizarse de forma automática en la LMS.

· Ficha individual donde se verá el progreso del alumno.Además del progreso, refleja aspectos como la participación, motivación…,

· Ficha de control de producciones del alumno, portafolios, carpeta de trabajo …

A modo de ejemplo, se presentan algunos modelos de registro que ayudan a evaluar las actitudes del alumno de la manera más objetiva posible.

Elaboraremos criterios de registros sobre la participa-ción y dedicación:


Sistema maleable para el apoyo y guiado del apren-dizaje colaborativo basado en servicios grid (Dpto. de Teoría de la Señal, Comunicaciones e Ingeniería Telemática. Universidad de Valladolid).

http://gsic.tel.uva.es/uploaded_files/52415_Bote-JITEL05.pdf

frecuencia de conexiones

alta (criterio) media (criterio) baja (criterio)

observaciones

frecuencia de intervenciones


observaciones

calidad de intervenciones


observaciones

ritmo detrabajo


observaciones



trabajo En Equipo

Tiene sentido de compañerismo

Es responsable en el trabajo

Acepta las críticas de los demás

Trabaja con minuciosidad y detalle

Se comunica de manera adecuada y con respeto

Toma iniciativa en el grupo

Trabaja de manera autónoma

Planifica las tareas y establece prioridades

Es flexible

Respeta normas y compromisos

EvaLuación

1 2 � � 5

1 2 � � 5

1 2 � � 5

1 2 � � 5

1 2 � � 5

1 2 � � 5

1 2 � � 5

1 2 � � 5

1 2 � � 5

1 2 � � 5

MATRICES DE RUBROS PARA EVALUACIÓN CUALITA-TIVA DEL APRENDIZAJE EN EDUCACIÓN A DISTANCIA

http://64.233.183.104/search?q=cache:mCdfU-dpwM2MJ:www.universia.pr/congreso/30/30.rtf+EVALUACI%C3%93N+DE+ACTITUDES+A+DISTANCIA&hl=es&ct=clnk&cd=10


5.4.5 concLuSionES

¿Es posible desarrollar y evaluar actitudes en teleformación?

La respuesta, definitivamente, es SÍ; actitudes como la cooperación entre compañeros, el respeto a los demás, el interés por el aprendizaje y la superación personal entre otras muchas, están presentes en las acciones formativas e-learning. El que dichas compe-tencias actitudinales puedan ser observables y evalua-bles por parte del tutor dependerá en gran medida de la dinámica de tutorización y de los enfoques psicope-dagógicos de las diferentes acciones formativas. Si el tutor fomenta el intercambio de experiencias, la par-ticipación, la colaboración, la curiosidad, la reflexión crítica, el desarrollo de actividades constructivas y de investigación, estará garantizando la aparición de determinadas actitudes observables a través de las diferentes comunicaciones en los medios telemáticos. Es por ello fundamental dotar de importancia a la “in-teracción didáctica” en el aula, ya que la colaboración, el intercambio de ideas y experiencias con los compa-ñeros favorecen el aprendizaje.




EvaLuación DE actituDES


pruebas colaborativos Rendimiento grupal

Presentación de conclusiones

Participación

Ámbito social

Personales

métodos e instrumentos

registros

Participación

Observación

Entrevista

Técnicas descriptivasAnecdotarios

Diarios

Fichas de control

Abierta Semicerrada Cerrada Exhaustiva

Cooperación

Participación Iniciativa

Disposición


UD. 5.5. La evaluación de la calidad de la teleformación.


MÓDULO 5

OBJETIVOS DE LA UNIDAD: · Definir los aspectos a evaluar del proceso en un curso de teleformación· Determinar los instrumentos y medios de evaluación en la evaluación de la calidad formativa y de gestión del proceso.· Aplicar los modelos de la calidad (ISO) y excelencia (EFQM) en la evaluación de la calidad formativa.

CONTENIDOS:

5.5.1 Introducción

5.5.2 Tendencias en la evaluación del e-learning

5.5.3 Evaluación de la actividad formativa 5.5.3.1 Modelo de Kirkpatrick5.5.3.2 Evaluación de la calidad formativa y de gestión del proceso.5.5.3.3 Valoración del equipo de trabajo.5.5.3.5 Evaluación de los contenidos y plataformas tecnológicas5.5.3.6 Evaluación de costes - beneficios

5.5.3.7 Pautas y modelos de evaluación de la calidad

5.5.4 La evaluación de enfoque global5.5.4.1 Modelo de calidad ISO 9000 (International Standard Organitation)5.5.4.2 Modelo de excelencia EFQM (European Foundatión for Quality Model)5.5.4.3 El “Benchmarking”

5.5.5 Conclusiones


5.5.1 introDucción

Evaluar la calidad de un programa e-learning es im-portante para los gestores de formación, ya que per-mite analizar los resultados y beneficios aportados, así como las mejoras necesarias para posteriores progra-mas formativos.

Sobre el concepto de calidad existen multitud de de-finiciones; sin embargo, tal y como hemos ido viendo a lo largo de los diferentes módulos de este curso, evaluar la calidad del e-learning implica un análisis exhaustivo no sólo de los resultados y procesos, sino también de todos los elementos intervinientes en los mismos. Éstas son:

• Las actividades dirigidas al diseño y programación de las acciones formativas.• El diseño de contenidos adaptados a los nuevos entornos formativos.• La elección del entorno tecnológico; el aula y las herramientas disponibles.• Los servicios de soporte técnico.• Los procesos de gestión: coordinación, logística, evaluación de los alumnos, diplomas acreditativos, etc…) • Gestión tutorial y desarrollo de los procesos, etc…

Para todo ello, será de vital importancia conocer la opinión tanto de los clientes externos (empresas y alumnos), como de los clientes internos (docentes, gestores, etc…)

Con los resultados obtenidos mediante la medición de la calidad de los procesos formativos se conseguirá:

• Mejorar la utilidad y funcionalidad de los entornos tecnológicos y herramientas utilizadas en las ac-ciones formativas.


• Mejorar la calidad educativa en general de las acciones formativas.• Mejorar los contenidos disponibles para los nue-vos entornos educativos. • Mejorar la eficiencia de todo el personal del centro de Formación implicado, aumentando la satisfac-ción y motivación del mismo. • Mejorar la calidad en la atención al cliente externo e interno y, por tanto, producir una mejora sustan-cial en la competitividad de la empresa.

5.5.2 tEnDEnciaS En La EvaLuación DEL E-LEarninG

La teleformación es un producto resultante de la com-binación de la sociedad de la información y la era digi-tal con las necesidades cada vez más crecientes de las empresas y organizaciones de resultar cada vez más competitivas en el entorno empresarial cambiante.

Como en todo proceso de reciente implantación, surge la necesidad de evaluar el e-learning como respuesta a las necesidades surgidas en los nuevos entornos empresariales. Desde esta inquietud, han sido nume-rosas las iniciativas llevadas a cabo para establecer estándares que permitan certificar la calidad de las acciones formativas.

Según Sangrà, (2001), hasta el momento se puede hablar de dos grandes tendencias en relación a las prácticas para evaluar la calidad de las instituciones y de los proyectos que utilizan el e-learning como acti-vidad formativa con entidad propia:

· Enfoque parcial. Centrado principalmente en la actividad formativa, materiales y contenidos, plata-formas tecnológicas y la relación coste-beneficio.· Enfoque global; los sistemas de evaluación cen-

trados en modelos y/o normas de calidad estándar y calidad total y los sistemas basados en la práctica del benchmarking.


Te animamos a buscar información y artículos de interés sobre calidad e-learning en la página de la u.o.c:

http://www.uoc.edu/web/esp/art/uoc

5.5.3 EvaLuación DE La activiDaD formativa La finalidad de la evaluación de la actividad formativa será fundamentalmente:

· Comprobar la consecución de objetivos formativos.· Establecer las mejoras necesarias en los procesos· Determinar la relación coste – beneficio de las acciones formativas.


5.5.3.1 moDELo DE kirkpatrick

Existen diferentes modelos teóricos sobre los que ba-sar la evaluación, aunque vamos a tomar como refe-rencia uno de los más ampliamente utilizados en For-mación en general y en los últimos años en e-learning en particular. Se trata del modelo de los cuatro niveles de Kirkpatrick (1994). El modelo está orientado a evaluar el impacto de una determinada acción formativa a través de cuatro niveles diferentes: la reacción de los participantes, el aprendizaje conseguido, el nivel de transferencia al-canzado y el impacto resultante. 1. reacción de los participantesEs la evaluación más utilizada en Formación, ya que la reacción de los participantes generalmente se mide a través de los cuestionarios de opinión y/o los gru-pos de discusión al final de la acción. Es el feed-back que los alumnos ofrecen sobre la acción formativa. Siguiendo criterios de calidad, sería deseable obtener datos de opinión no sólo al final del proceso, sino durante el desarrollo del mismo, ya que ello facilitaría el establecimiento de medidas correctoras durante la acción. 2. aprendizajeEsta evaluación persigue comprobar el nivel de com-petencias adquiridas por el alumnado a través de las diferentes pruebas de evaluación (estudiadas en uni-dades anteriores)

3. transferenciaLa evaluación de la transferencia tiene como objeti-vo comprobar si las competencias adquiridas con la formación se aplican en el entorno de trabajo y si se mantienen a lo largo del tiempo. Es decir, se trata de


página de la universidad politécnica de madrid. Ofrece multitud de recursos y enlaces para la evalua-ción: encuestas, plantillas y artículos.

www.gate.upm.es/evaluacion/instru2externa.htm

EvaLuación DE La activiDaD formativa

Del impacto: Modelo Kirkpatric

De la calidad formativa y gestión del proceso

Del equipo de trabajo

De los contenidos y lasplataformas tecnológicas

De los costes/beneficios

Puedes ampliar información sobre el tema en artícu-los de interés en las siguientes páginas web:

modelos de evaluación:http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm

modelo de evaluación de plataformas tec-nológicas e-learning. Instituto Tecnológico de Buenos Aires. http://www.itba.edu.ar/capis/epg-tesis-y-tf/cha-rum-tm.pdf

Libro de buenas prácticas e-learning:http://www.buenaspracticas-elearning.com/node/45

evaluar los beneficios para los que se destina la for-mación. Aunque es de vital importancia, pocas son las organizaciones que evalúan los procesos de transfe-rencia del aprendizaje a las organizaciones y empresas donde las competencias adquiridas se ponen a prueba. Kirkpatrick recomienda en su bibliografía, que esta evaluación se realice algunos meses después de la formación para que los estudiantes puedan aplicar lo aprendido en su ambiente de trabajo. 4. impacto Aunque en la mayor parte de las ocasiones, el impacto de la formación se ha medido por criterios exclusiva-mente económicos y de mayor productividad, existen

5.5.3.2 EvaLuación DE La caLiDaD formativa y DE GEStión DEL procESo.

Entendemos por calidad:

“La propiedad o conjunto de propiedades in-herentes a una cosa, que permiten apreciarla como igual, mejor o peor que las restantes de su especie” (R.A.E.).

“Proceso que cumple con las especificacio-nes” (P. Crosby).

“Satisfacción de las expectativas del cliente” (A. Feigenbaum).

“La totalidad de características de una en-tidad que le confiere la aptitud de satisfa-cer necesidades, implícitas o explícitas”. (ISO 9.000).

Determinaremos un déficit en la calidad del proceso cuando:

• Exista diferencia entre lo que el alumno o la orga-nización espera y lo que obtiene.• Las medidas adoptadas para cubrir las necesida-des detectadas sean insuficientes.• El grado de cumplimiento de los criterios de ca-lidad establecidos sea bajo o más bajo de lo es-perado.• Existan contradicciones entre lo que se dice que se va a aprender y lo que se aprende.

Para analizar el proceso formativ o desde la perspec-tiva de calidad, tendremos en cuenta:

1. Los objetivos generales2. Necesidades de la organización y alumnos3. Definición de los criterios de evaluación4. Previsión de incidencias



Otras teorías sobre la evaluación de la calidad de las acciones e-learning:

teoría de p. crosby:http://www.geocities.com/gehg48/TeoriasCrosby.html

teoría del Dr. armand feigenbaum:http://www.geocities.com/gehg48/TeoriasFei-genbaum.html

moDELo kirkpatric para La EvaLuación DE La caLiDaD En formación

Reacción de los participantes

Aprendisaje

Transferencia

Impacto

otros criterios más cualitativos como la satisfacción, motivación o mejora del servicio que no han de perder-se de vista en la evaluación del impacto de la formación en el entorno empresarial.

e medirá el proceso en términos de eficacia y eficiencia. Entendiendo por eficacia el grado en el que se alcanzan los objetivos formulados en base a los requerimientos hechos por la organización y a las necesidades del alumno, y, por eficiencia la relación que se establece entre la eficacia y el coste.

Aspectos que ofrecerán información sobre déficits en la calidad son:

• Abandonos una vez comenzado el curso• Faltas de asistencia o participación• Se tienen que ofrecer demasiadas oportunidades a los alumnos para demostrar conocimientos• Cuando se observa que los alumnos no alcanzan objetivos y su motivación no es la deseada.

¿Cómo aplicar el modelo Kirkpatrik?Un ejemplo en: http://www.pyb.com.co/documentos/noticias

más información sobre el modelo kirkpatrick:

· http://www.formacioncontinua.inap.map.es/portal/NuevaWeb/index.html

· http://www.uhu.es

Utiliza tu buscador para encontrar multitud de artículos con numerosos ejemplos de aplicación del modelo.


5.5.3.4 EvaLuación DE LoS contEniDoS y pLataformaS tEcnoLóGicaS Los contenidos e-learning cobran una especial re-levancia para su evaluación, ya que son el principal instrumento de trabajo con el que se encuentran los alumnos. De allí a que su evaluación cobre especial importancia y se dediquen grandes esfuerzos a esta-blecer criterios de calidad de los mismos.

Entre las iniciativas que se destaca para valorar los materiales multimedia para e-learning, encontramos:

· The Instructional Management Systems Project (http://ims.org), que reúne a empresas americanas multinacionales informáticas e instituciones educa-tivas para definir estándares tecnológicos. · Promoting Multimedia Acces Education and Training in European Society (http://www.perseus.tufts.edu), un proyecto orientado a definir la calidad formativa de los materiales multimedia.

Existen otro tipo de propuestas más abiertas y al al-cance de formadores y tutores, como las estudiadas en los módulos 2 y 3 de este curso, que conllevan la identificación de criterios básicos para determinar la calidad de unos contenidos mínimos de calidad. No nos extendemos en este punto ya que se trató amplia-mente en los módulos correspondientes. En esta línea se encuentra el instrumento promovido por la European Academic Software Award (Baumgar-tner y Payr, 1997) desarrollado en torno a doce criterios: exactitud, relevancia, cobertura, interacción, aprendi-zaje, uso, navegación, documentación, interface, uso del ordenador, adaptabilidad e innovación.

En lo que respecta a las plataformas tecnológicas, como ya se vio a lo largo del módulo 2, la dimensión y funcionalidad de un campus virtual puede variar sus-

tancialmente según se trate en cada caso. En el mer-cado existen numerosas plataformas con posibilidades de adaptación a las necesidades de cada caso. Evaluar la plataforma tecnológica debe ser un paso previo en el momento de su elección, pero es necesario estar atento a la evolución de los entornos tecnológicos en las soluciones e-learning, ya que éstos avanzan a ritmos vertiginosos. De allí, la importancia que adquiere la evaluación formativa o de proceso orientada a la mejora progresiva del entorno virtual.

Existen iniciativas que han elaborado modelos o es-tándares de calidad de plataformas virtuales, entre las que se destacan los Quality Standards on the Virtual Campus desarrollados por la Universidad de Pensilva-nia, (http://www.vup.org/standards).

Un modelo más cualitativo es el modelo ACTIONS de Bates (1999), especialmente orientado a la toma de decisiones del entorno virtual. Bates indica seis crite-rios que ayuden a la toma de decisiones:

· acces (accesibilidad), · costs (costes), · teaching and learning (enseñanza – aprendizaje), · interactivity and use facility (interactividad y fa-cilidad de uso), · organizational issues (asuntos organizacionales), · novelty and speed (actualizada y rápida).

Recordemos que los criterios de selección de las pla-taformas tecnológicas irán definidos por los instru-mentos y recursos que pongan a disposición de los participantes y que respondan a necesidades reales; necesidades que son diferentes de unos casos a otros; por tanto, los criterios de calidad no sólo se definirán en base a unos planteamientos generales, sino como respuesta a si cubren las necesidades concretas de una acción formativa y organización.


5.5.3.3 vaLoración DEL Equipo DE trabajo:

Uno de los aspectos que mayor información nos puede aportar sobre la calidad del proceso formativo es la forma en que el equipo de trabajo se relaciona e inte-ractúa con la acción formativa. Algunos indicadores de calidad resultantes durante un curso pueden ser:

· Unificación de criterios por parte de todos los participantes.· Cooperación.· Comunicación fluida.· Respeto por las normas de conducta tácitas.· Ambiente propicio para la lluvia de ideas, hay pre-disposición a escuchar.· Cada uno de los componentes del grupo asume las responsabilidades que lleva su rol sin grandes problemas.· Todos aportan trabajo significativo, existe parti-cipación activa.· Los componentes se sienten contentos de perte-necer al grupo.· Hay confianza entre los miembros para tratar cual-quier tipo de cuestión que pueda surgir.· Existe predisposición para comprender las idiosin-crasias personales y de contexto.· Existe cierto grado de asamblea.· El grupo se automotiva.· El grupo quiere mejorar sus métodos y productos.

Falta todavía establecer y consensuar criterios a nivel europeo sobre las plataformas tecnológicas y conteni-dos e-learning, que ofrezcan parámetros y estándares de calidad y orientaciones claras y concretas sobre las directrices generales a seguir en este sentido y que, por tanto, permitan establecer comparaciones correctas entre todas las posibilidades existentes.

5.5.3.5 EvaLuación DE coStES-bEnEficioS

La implantación de una solución e-learning requiere una inversión inicial importante, que, desde el punto de vista financiero, debe retornar en una serie de be-neficios que justifiquen dicha inversión. Es lo que en economía se denomina ROI (Return On Investment – ROI= beneficios/costes)

La formación tanto presencial como e-learning genera siempre una serie de beneficios y costes asociados. Valorar los costes de las acciones formativas no es complicado; el problema se da en cómo medir los beneficios que esta formación produce, más allá del propio aprendizaje o desarrollo personal y profesional que puede producir en los agentes participantes.

Cuantificar los beneficios que la formación aporta no es tarea fácil, ya que se dan consecuencias tanto cuantitativas (mayor productividad, ahorro de tiempo, etc…), como cualitativas (motivación, satisfacción del personal, desarrollo de habilidades sociales, etc…)

La importancia del ROI como instrumento de eva-luación reside en poder estimar cómo las mejoras producidas por las acciones formativas repercuten en los resultados económicos de las organizaciones y empresas; sólo de esta manera dispondremos de un instrumento de control de la eficacia y eficiencia de la


formación y, por tanto, en la justificación de las inver-siones en la misma.

Lo primero de todo, habría que comparar los costes y beneficios del e-learning respecto a la formación tradicional presencial. Existen opiniones contrapuestas sobre si la modalidad formativa del e-learning es más o menos costosa que la formación presencial. Para obtener una respuesta objetiva, se debería aplicar un análisis de costos. Pero, si además se desea conocer los beneficios esperados, un buen instrumento para realizarlo es el cálculo del retorno sobre la inversión.

En e-learning, aunque se evitan costes de la modalidad tradicional como alquiler de aulas, dietas y despla-zamientos, etc…, incorpora nuevos gastos que no se dan en la formación tradicional, como plataformas tecnológicas o inversión en contenidos multimedia. Será función de los departamentos de formación y ad-ministrativos de las empresas realizar un análisis de los costes y beneficios que puede aportar una formación sobre la otra.

Hay varias maneras de medir el retorno de la inversión, desde algunas relativamente simples hasta otras que implican cálculos financieros y suposiciones relativa-mente complejas.

Para ayudar a los gestores de formación , ofrecemos una fórmula muy simple que sirva de indicador del retorno de la inversión e-learning:

También podríamos considerar los costes y beneficios indirectos, pero son de difícil medición y evaluación, por lo que evitamos su exposición en este tema.

¿cómo evaluar la viabilidad de un proyecto e-learning?Los estudios de viabilidad tienen como objetivo con-siderar todos los aspectos que pueden influir en una implantación exitosa de una solución e-learning.

Para analizar la viabilidad de un proyecto e-learning, tendremos que considerar cuatro aspectos fundamen-tales:

· viabilidad económica. Se realizará un estudio de costes/beneficios.· viabilidad estratégica del negocio. Ello con-lleva el análisis del mercado, oportunidades y ame-nazas del mismo. · viabilidad organizacional. ¿Con qué recursos humanos se cuenta para poner en marcha el pro-yecto? ¿Existen en la organización unas condiciones mínimas tanto estructurales como funcionales?· viabilidad técnica. ¿Se dispone de la tecnología e infraestructura necesaria?

5.5.3.6 pautaS y moDELoS DE EvaLuación DE La caLiDaD

Una de las principales preguntas que deberíamos ha-cer es qué aspecto tiene un curso e-learning de ca-lidad. Las siguientes preguntas nos ayudarán como tutores a establecer un guión mínimo exigible para dar respuestas formativas de calidad.

1. Sobre el funcionamiento general:· ¿Hay tutoriales sobre el uso del entorno tecno-lógico?


Retorno de la inversión (beneficios) = ingresos (facturación de los cursos) menos costes (dinero invertido en el proyecto),

dividido por costes

· ¿Cómo y cuándo podemos comunicarnos con los servicios de soporte técnico? · ¿Cómo y cuándo se puede contactar con el tutor? ¿Está accesible?· ¿Existe acceso a medios y materiales complemen-tarios por parte del alumno?

2. Diseño y organización de los materiales· ¿Está todo el material preparado y disponible al principio del curso?· ¿Es adecuado el diseño gráfico y pedagógico de los materiales?· ¿Está bien organizado el material de forma lógica y secuencial?· ¿Es accesible para todos los alumnos?

3. comunicación y actividades· ¿Se estimula desde el tutor o los materiales la colaboración y participación?· ¿Existen diferentes tipos de actividades a lo largo de la acción formativa?· ¿Se fomenta la comunicación e interacción cons-tructiva?· ¿Se fomenta el pensamiento crítico y de solución de problemas?· ¿Se utilizan diferentes y variadas herramientas de comunicación?· ¿Se utilizan elementos multimedia motivadores para el alumno?· ¿Se utilizan elementos para favorecer la atención?

4. Los sistemas de evaluación· ¿Hay suficientes actividades de evaluación para comprobar la adquisición de las competencias? · ¿Se utilizan diferentes estrategias para evaluar competencias diferentes?· ¿Recibe el alumno constante feed-back y propues-tas de mejora por parte del tutor?


· ¿Se da oportunidad a los alumnos de opinar sobre los contenidos, organización y desarrollo del cur-so? ¿De qué forma?· ¿Se utiliza ese feed-back para mejorar el curso durante su desarrollo?

¿Cómo debe reaccionarse ante los déficits de calidad?

· Escucha activa de las quejas.• Identificación del problema real.• Ofrecer respuesta lo antes posible pero asegurán-donos de que es adecuada; si no lo fuera, incremen-taríamos la sensación de descontento.• Utilizar nuestras destrezas como comunicadores.

On error training: nombre que se le da a la técnica de afrontamiento del fallo, para analizarlo y solucionarlo.

Mecanismo de reacción:1. Tendremos presente desde el momento que se realiza la queja que no es una cuestión personal; lo que persigue el alumno/cliente es el fallo.2. Reconoceremos el fallo en el momento que lo identifiquemos.3. Si es posible, seguido del reconocimiento, plan-tearemos soluciones.4. Utilizaremos todos los recursos que estén a nues-tro alcance para solucionarlo.

Se ofrecen a continuación directrices y pautas para ayudar a tutores y gestores a establecer indicadores de evaluación de las acciones formativas e-learning:


Evaluación de los conocimientos previos

Evaluación inicial

Detección de necesidades

Análisis de contexto

Adecuación de objetivos, contenidos, metodología…

Evaluación de procesos y productos

Continua o procesual

Evalúa los métodos utilizados

Establece juicios sobre eficacia

Base de mejoras para futuras programaciones

Evaluación del tutor

Continua

Selección mediante currículum

Conocimientos

Habilidades

Actitudes

Aptitudes



programación formativa

Sumativa

Satisfacción de los alumnos

Aprendizaje de conocimientos

Aprendizaje de capacidades

Aplicabilidad de los conceptos aprendidos

Calidad del periodo formativo

Rentabilidad económica

Encuesta anónima sobre profesorado, contenidos, or-ganización, metodología, recursos, materiales…

Pruebas abiertas y cerradas

Pruebas prácticas

Pruebas prácticas

Posterior a la finalización del curso

R.O.I. = beneficios/costes

Evaluación del diseño formativo

Final

Objetivos

Contenidos

Metodología

Actividades

Recursos

Comprobar si se han alcanzado

En función de su adecuación a los objetivos

En función del tipo de alumnos, recursos disponibles, contenidos a transmitir…

Grado en el que se ajustan a los contenidos

Aula

Versión imprimible de los contenidos

Versión multimedia

Herramientas técnicas

Condiciones óptimas de trabajo

Evaluamos en cantidad y calidad

Adecuación a los contenidos y objetivos del curso

Aplicación de las TIC


Un modelo de evaluación de la acción formativa para los alumnos se ofrece a continuación (se recomienda la realización de un modelo adaptado en cada caso):


Evaluación del contexto

Final

Contexto Profesional

Cntexto Social

Contexto Formativo

Ambiente institucional, adecuación del programa, ideología, contenidos.

Relaciones sociales, objetivos alcanzados, adecuación de la programación.

Alumno

Contexto

Autonomía, trayectoria…

Recursos, posibilidades, materiales…

cataLoGación y EvaLuación DE SiStEmaS DE tELEformación

título del curso:

Dirección urL :

institución que lo imparte:

Dirección del curso:

objetivos:

asignaturas: (breve exposición del contenido)

Destinatarios:

mapa de navegación del entorno de teleformación:

infraestructura necesaria para los alumnos:



aSpEctoS funcionaLES DEL curSo

interés del curso (¿Qué ofrece?)

Eficacia (fracasos, abandonos)

versatilidad (¿se adapta a los usuarios?)

Excelente Alta Suficiente Baja

EL Entorno tELEmático

Sencillez, facilidad de uso

calidad del entorno audiovisual

calidad y estructuración de los contenidos

navegación e interacción con el entorno

comunicación interpersonal y trabajo colaborativo

Hipertextos (descriptivos y actualizados)

originalidad y uso de tecnología avanzada

fiabilidad y seguridad del entorno




EL pLan DocEntE y EL moDELo pEDaGóGico

plan docente del curso

adecuación a los destinatarios

información sobre el plan docente y el desarrollo del curso

flexibilización del aprendizaje y autonomía de los estudiantes.

aprendizaje colaborativo

atractivo

Seguimiento del progreso de los estudiantes

Sistema de evaluación

La función docente

El profesorado

La tutoría

Los tutores

recursos complementarios

tablón de anuncios del profesor

foros sobre las asignaturas

Sistemas de comunicación entre los estudiantes

Encuentros presenciales periódicos




LoS SErvicioS compLEmEntarioS

Gestión administrativa

informaciones generales

noticias y agenda

Entornos lúdicos


vaLoración GLobaL DE LoS matEriaLES DiDácticoS

calidad técnica

potencialidad didáctica

funcionalidad, utilidad


vaLoración GLobaL DEL curSo

Los servicios que ofrece (es completo)

calidad técnica

funcionalidad, utilidad (para sus usuarios)


aspectos más positivos del sistema de teleformación:

aspectos más negativos del sistema de teleformación:

otras observaciones

obSErvacionES


En el modelo de evaluación de programas de formación en general desarrollado por Pérez Juste (1995) encon-tramos referencias a los criterios de evaluación recomendables en cada momento del proceso evaluativo y de los que podremos extraer conclusiones para nuestros programas e-learning: el programa en sí mismo, el programa en su desarrollo y el programa en sus resultados.


contenido del programa.Coherencia entre el programa y las bases socio-psico-pedagógicas del curso.

calidad técnica del programa.• Especificación precisa y clara de las metas.• Congruencia externa entre metas y teoría.• Coherencia interna entre las partes del plan.• Adecuación de los sujetos, evitándose tanto la falta de motivación cuanto la inexistencia de desafío o el exceso de exigencia (falta de realismo).

Evaluabilidad del programa.• Claridad y precisión del lenguaje utilizado.• Claridad en relación con los criterios y referencias de evaluación.• Previsión de las decisiones a tomar.• Definición inequívoca de las variables.

necesidades y programas.• Existencia y calidad técnica del diagnóstico de necesidades.• Coherencia entre las necesidades detectadas y priorizadas y el programa formulado.Establecimiento de prioridades.• Atendiendo a elementos de carácter técnico/experto.• Atendiendo a elementos eminentemente subjetivos (interés/motivación expresos, expectativas personales/grupales).

viabilidad.• Realismo en las metas del programa fruto de la adecuación a medios y recursos.• Aprovechamiento de medios y recursos mediante su adecuada dinamiza-ción, plan y orden.

EL proGrama En SÍ miSmo



• Conformidad con la planificación. Lo que supone revisar la existencia de desfases/desajustes, resultados parciales y efectos no programados.

• Satisfacción del personal

EL proGrama En

Su DESarroLLo

valoración.• Cumplimiento de los niveles de logro establecidos• Por criterios, a partir de las metas y niveles previamente especificados téc-nicamente por los responsables• Normativos, si existiera y en casos de competencia entre programas.• De naturaleza idiosincrática; los niveles del programa son valorados tomados en consideración el conjunto de circunstancias o sus resultados en situaciones precedentes

continuidad.• Control interno del plan• Grado de participación de los implicados• Sistema de revisión establecido sobre las decisiones tomadas

EL proGrama En

SuS rESuLtaDoS

caLiDaD En E-LEarninG

Funcionamiento General

Diseño y organización de materiales

Comunicación y actividades

Sistemas de evaluación



Webs sobre estándares e indicadores para la certificación de la calidad e-learning:

AEFOL (sello de calidad e-learning)www.aefol.com

Web-based Education Commissionhttp://www.ed.gov/offices/AC/WBEC/FinalReport/WBECReport.pdf

National Education Associationhttp://www.nea.org

The Council of Regional Accrediting Commissionshttp://www.msache.org

International Council of Distance Education (ICDE)http://www.icde.org

BENVIC Projecthttp://www.benvic.odl.org

Corporate Universitieshttp://www.corpu.com

The Malcolm Baldrige Nacional Quality Awardwww.quality.nist.gov

European Network on Intelligent Technologies for Smart Adaptive Systems (EUNITE) (2003)http://www.eunite.org

Instructional Management Systems Project (IMS) (2000) http://ims.org

Quality Standards on the on-line Courses of Michigan Virtual University (2002)http://standards.mivu.org/standards/ La página web de la Fundación Iberoamericana para la calidad: http://www.fundibeq.org/

Modelo iberoamericano de excelencia en la gestión. Edición 2005http://calidad.unad.org/upload/85/84/modelo_ibe-roamerican_excelencia_2005.pdf

Desde la Fundación (Fundibeq) encargada del Modelo Iberoamericano de Excelencia en la Gestión se proponen distintas herramientas que pueden ser consultadas a través de su web: http://www.fundibeq.org/metodolo-gias/metodologia.html

IEEE: Learning Tecnology Standards Committe:http://ieeeltsc.org/

Página de ISO (International Standard Organitation)http://www.iso.org

Entidades para la acreditación de la calidad:

Organización Internacional de Estandarizaciónhttp://www.iso.org/iso/home.htm

European Quality Assurancehttp://www.eqa.org/

Instituto Colombiano de Normas Técnicas http://www.icontec.org.co/Home.asp?CodIdioma=ESP

Fondo para la Normalización y Certificación de Calidad en Venezuela (Fondonorma) http://www.fondonorma.org.ve/index2.htm

Instituto Nacional de Normalización de Chile http://www3.inn.cl/portada/index.php

Entidad Nacional de Acreditación (España) http://www.enac.es/

Asociación Española de Normalización y Certificación (España) www.aenor.es/desarrollo/inicio/home/home.asp

Instituto Argentino de Normalización y Certificación http://www.iram.org.ar/

5.5.4 La EvaLuación DE EnfoquE GLobaL Es la evaluación que considera de forma global el conjunto de todos los elementos de una solución e-learning, para gestionar y evaluar su calidad. La implantación de un sistema de calidad en una orga-nización viene fundamentada por los siguientes princi-pios (González, 2000: 66-68):

· Proceso orientado a la satisfacción de las necesi-dades y expectativas de los destinatarios. · Mejora permanente de todo lo que la organización pretende alcanzar sobre la base de unos objetivos claros y explícitos· La garantía de la calidad de los procesos internos como medida para alcanzar la calidad del producto. · La prevención en lugar de la supervisión y detec-ción de errores.

Sobre la base de estos principios se han generado diferentes herramientas, como las normas ISO y los modelos de excelencia EFQM.

Las ventajas más importantes que puede aportar tra-bajar con sistemas de aseguramiento de la calidad para la empresa son:

• mayor productividad, pues todos los emplea-dos de una empresa saben lo que tienen que hacer y de forma lo más eficiente posible. • mejora de la imagen al exterior .• mejora de la organización interna, ya que todo queda documentado con lo que se consigue una mayor fluidez en la comunicación. • incremento de la productividad. A mayor calidad, mayor satisfacción de los clientes y mayor confianza en los productos y servicios.• Mayor fidelización de los clientes, ya que el sello ofrece confianza y seguridad.


• posibilita el trabajar y colaborar con otros organismos y empresas. Hay muchas empresas que establecen como requisito que sus proveedores posean sistemas de gestión de calidad.

5.5.4.1 moDELo DE caLiDaD iSo 9000 (intEr-nationaL StanDarD orGanitation)

La familia de normas iSo 9000 son normas de “ca-lidad” establecidas por la Organización Internacional para la Estandarización (ISO) que se pueden aplicar en cualquier tipo de organización. Se componen de es-tándares y guías relacionados con sistemas de gestión y de herramientas específicas como los métodos de auditoría (el proceso de verificar que los sistemas de gestión cumplen con el estándar).

Es una normativa para asegurar la calidad del centro u organización. Pretende asegurar la calidad de los métodos. Se puede considerar como una parte del modelo de excelencia de la EFMQ, que, en su origen, estaba enfocada a procesos, pero tras revisiones re-cientes, se va acercando al modelo de calidad total. Es una norma que establece los requisitos que debe cumplir la organización para dar servicios y productos de calidad y que ofrece resultados demostrables de la calidad en la organización.La ISO es un conjunto de normas que piden a la or-ganización que:

· Defina y planifique sus procesos.· Los documente· Y garantice el control y revisión de los mismos.

Podríamos decir que con este modelo se persigue que “Escribamos lo que vamos a hacer, hagamos lo que hemos escrito y escribamos lo que hayamos hecho”.

Los principios sobre los que se basan este conjunto de normas son los siguientes:

· La organización posee objetivos de calidad claros. · La organización posee los recursos necesarios para conseguir el nivel requerido de calidad.· Todos los procesos y sistemas están sometidos a controles, con evaluaciones y modificaciones cuan-do sea conveniente. · Todo lo necesario para garantizar la calidad se halla documentado. · Los registros de la calidad permiten una verifi-cación y una comprobación de la garantía de la calidad.

La serie de normas ISO 9000 ha dado lugar a tres normas fundamentales que regulan la implantación de los Sistemas de Gestión de la Calidad. Dichas normas son las siguientes:

· ISO 9000:2000, Sistemas de Gestión de la Calidad- Fundamentos y Vocabulario.· ISO 9001:2000, Sistemas de Gestión de la Calidad- Requisitos.· ISO 9004:2000, Sistemas de Gestión de la Calidad- Guía para la mejora del funcionamiento.

La aplicación de los términos ISO al ámbito del e-lear-ning quedaría recogida de la siguiente manera a modo de ejemplo:



5. aplicación de los documentos elaborados. Implica llevar a la práctica lo que se ha dejado pre-viamente documentado. 6. auditoría de implantación antes de la cer-tificación.7. Entrega de la documentación final y aplica-ción real de los procedimientos e instrucciones de trabajo.8. auditorias periódicas

Para verificar que se cumple con los requisitos de la norma, existen unas entidades de certificación, vigila-das por organismos nacionales que les dan su acredi-tación, que emiten que dan sus propios certificados a las organizaciones.

Para la implantación de la Norma ISO 9000, es desea-ble contar con una consultoría especializada, firmando un compromiso con la Dirección y los participantes implicados, ya que es necesario dedicar tiempo del personal de la empresa para implantar el Sistema de gestión de la calidad.

Existe actualmente un organismo (IEEE LEARNING TE-CHNOLOGIES STANDARS COMITEE (LTSC) que pro-mueve la creación de una norma ISO específica para la formación virtual. Se encarga de preparar normas técnicas, prácticas y guías recomendadas para el uso informático de componentes y sistemas de educación y de formación, en concreto, los componentes de soft-ware, las herramientas, las tecnologías y los métodos de diseño que facilitan su desarrollo, despliegue y mantenimiento. ( Saber más en http://ltsc.ieee.org )


término de las iSo

proveedor

clientes

producto

cuadros ejecutivos

contrato

Diseño

compras

procesos

inspección y pruebas

calibración

Centro de Formación Alumnado o participantes

Curso

Dirección general/Dirección de centro/ Jefatura de estudios

Todos los tipos de acuerdos con los clientes: matriculación, acceso a plataforma, distri-bución de materiales, tutorización, acreditación de la acción, etc…

Definición de las especificidades de la plataforma tecnológica y navegación de materia-les; también se incluyen los temas administrativas y sistemas de seguridad

Recursos materiales y humanos: contratación de profesorado, licencias de software, etc…

Impartición de la enseñanza o formación: metodología (trabajo en grupo, individual), uso de los espacios de comunicación, materiales (on-line, off-line, multimedia, textuales), eva-luación (presencial o a distancia), etc

Sistema de evaluación de la acción formativa por parte de los alumnos: docentes, mate-riales, entorno tecnológico, etc…

Validación de los sistemas de evaluación utilizados

interpretación para un centro de formación que implanta una solución e-learning

La documentación que genera un proceso iSo 9001:2000 es la siguiente:

· El manual de calidad. Es la guía o índice de calidad y por tanto debe ser conocido por todo el personal.· El manual de procedimientos: ¿Qué hace la organización?, ¿Quién lo hace?, ¿Cuándo lo hace? Define los procesos y procedimientos a seguir.· instrucciones de trabajo que recoge “cómo se hace”.

La metodología de implantación de un modelo iSo es:

1. Diagnóstico: en esta fase se evalúa la situación actual de la empresa.2. compromiso de la dirección.3. formación inicial para todas las personas im-plicadas en la implantación.4. Diseño del sistema. En esta fase se prepara el manual de calidad, el manual de procedimientos y las instrucciones de trabajo. Ello implica la prepa-ración de un plan previo de trabajo, empezando por desarrollar los procesos claves de la empresa.


5.5.4.2 moDELo DE ExcELEncia Efqm (Euro-pEan founDatión for quaLity moDEL)

Aplicación de la gestión de la calidad a los procesos garantizando su excelencia, siendo su referente el de la calidad total. Es un modelo amplio que tiene un enfo-que global y completo. No es una norma, se compone de criterios evaluables en la organización para resaltar los puntos fuertes y débiles y establecer planes de mejora. Puede aplicarse por personal externo o interno y su éxito depende básicamente del evaluador.

La European Foundation for Quality Management (EFQM) o Fundación Europea para la Gestión de la Ca-lidad , fue fundada en 1988 por catorce de las principa-les organizaciones de Europa occidental, conscientes de la necesidad de impulsar la gestión de la calidad total. En 1991 establecieron el Premio Europeo a la Calidad; en 1994, esta Fundación constituyó un grupo de trabajo para el Sector Público con el objetivo de adaptar el modelo a la atención sanitaria, educación, ayuntamientos y otros sectores públicos, publicando actualizaciones periódicas.

Extrapolando los datos obtenidos en la página oficial de la Fundación www.efqm.org , el modelo EFQM es un instrumento práctico que puede ayudar a los Cen-tros y Departamentos de Formación a establecer un sistema de gestión de calidad apropiado, midiendo el punto en que se encuentran dentro del camino hacia la excelencia. Además, analiza las diferencias y lagunas que pueden existir dentro de la organización para al-canzar la excelencia, al tiempo que estimula búsqueda de soluciones. El denominado modelo EFQM permite avanzar en la gestión de la calidad total, ya que la gestión de la calidad agrupa tres funciones básicas: la identificación de oportunidades de mejora, la elabora-ción de indicadores y su monitorización y el diseño de


DiaGnóStico

compromiso de la dirección

formación inicial

Diseño del sistema

aplicación de documentos

auditoría previa a la certificación

Documentación final y aplicación real

auditorías periódica

metodología de implantación de un modelo iSo:

nuevos productos o servicios o su re-elaboración.

El modelo de la EFQM se basa en la siguiente premisa: la satisfacción del cliente, la satisfacción de los emplea-dos y un impacto positivo en la sociedad se consiguen mediante el liderazgo en política y estrategia, una acertada gestión de personal, el uso eficiente de los recursos y una adecuada definición de los procesos, lo que conduce finalmente a la excelencia de los resulta-dos empresariales. Cada uno de estos nueve elemen-tos del modelo se evalúan y ponderan para determinar el progreso de la organización hacia la excelencia.

El modelo de la EFQM se basa en la autoevaluación y, para aquellas empresas que desean optar al premio europeo a la calidad, en una auditoría externa. La autoevaluación es entendida como un examen global y sistemático de las actividades y resultados de una organización que se compara con un modelo de ex-celencia empresarial (normalmente una organización puntera). Aunque la autoevaluación suele ser aplicada al conjunto de la organización, también puede eva-luarse un departamento, unidad o servicio de forma aislada. La autoevaluación permite a las organizacio-nes identificar claramente sus puntos fuertes y sus áreas de mejora y, a su equipo directivo, reconocer las carencias más significativas, de tal modo que estén capacitados para sugerir planes de acción con los que fortalecerse. La auditoría externa se realiza por inspectores especializados en la aplicación del modelo que valoran cada uno de sus criterios en base a un sistema protocolizado de puntuaciones ponderadas.

Los criterios de resultado hacen referencia a lo que la organización logra en términos de: satisfacción de los clientes (hasta qué punto se satisfacen sus necesida-des y expectativas), satisfacción de los empleados (en términos de motivación, participación, servicios que


reciben los propios empleados y nivel de satisfacción laboral), cómo percibe la sociedad a la organización (p.e. actividades como miembro responsable de la so-ciedad, o impacto medioambiental de su actividad), y resultados económicos y de rendimiento que se lo-gran.

Con el modelo EFQM se pretende mejorar la calidad de la gestión y pretende:

· Impulsar la mejora continua como columna verte-bral del crecimiento de la organización.· Potenciar la orientación hacia el cliente.· Reconocer el desarrollo, la implicación y el reco-nocimiento de las personas en los procesos.· Enfatizar el liderazgo y la coherencia con los obje-tivos, además de la ética y la responsabilidad.· Resaltar la orientación hacia la obtención de re-sultados.· Realizar una autoevaluación por personal interno a la organización.· Realizar una autoevaluación por parte de personal externo a la organización.· Utilizarlo como base para presentar la organiza-ción al premio EFQM.· Gestión de todos los procesos de una manera eficiente y eficaz.· Generación de resultados de manera integrada, basándose en la aplicación de métodos eficientes de gestión de los procesos de la organización.

De esta forma, la organización de la Formación e-learning debería, en su camino hacia la excelencia:

1. Determinar los resultados que quiere lograr.2. Planificar y desarrollar una serie de enfoques que lleven a obtener los resultados en el futuro.3. Desplegar los enfoques de manera sistemática para asegurar una implantación completa.4. Evaluar y revisar los enfoques utilizados, basán-

dose en el seguimiento y análisis de los resulta-dos alcanzados y en las actividades continuas de aprendizaje. 5. Identificar y establecer prioridades, planificar e implementar las mejoras que sean necesarias.


página Efqm (European Foundatión for Quality Model)

http://www.efqm.org

La orGanización DEbE

Determinar los resultados a lograr

Planificar y desarrollar los enfoques futuros

Sistematizar la implantación de los enfoques

Evaluar y revisar los enfoques

Identificar y establecer prioridades y mejoras

5.5.4.3 EL “bEncHmarkinG”

“El benchmarking es el proceso que permite a un cen-tro u organización compararse con otro que obtiene resultados excelentes de calidad, con el fin de emu-larlo”. En el ámbito del e-learning este sistema preten-de ofertar herramientas e indicaciones para mejorar las acciones a partir de la observación, comparación y cooperación basada en las buenas prácticas. En esta línea se encuentra el proyecto Benvic “Benchamarking of Virtual Campuses” de la Unión Europea.

En el ámbito de la Unión Europea el Benchmarking of Virtual Campuses Project (European Commission, 2002) está siendo desarrollado por ocho instituciones universitarias de los países miembros en el marco del programa MINERVA desde el 2001. Dicho proyecto, conocido con el nombre de BENVIC, está orientado al desarrollo y aplicación de criterios de evaluación para promover estándares de calidad en los campus virtua-les y en la formación on-line en general.

Los objetivos del proyecto BENVIC se centran en el establecimiento de criterios de evaluación con el fin de alcanzar los Estándares de Calidad para los entornos virtuales y son los siguientes:

• Desarrollar, probar y establecer un sistema de evaluación de las experiencias con campus virtuales o soluciones e-learning en el contexto europeo, en particular los que participan en el Programa Sócra-tes de educación abierta ya distancia• Promover una red colaborativa para implementar la evaluación a través de la comparación y el ben-chmarking. • Promover el conocimiento compartido. • Desarrollar un mapa de competencias relaciona-do con el diseño y la implementación de campus virtuales.


• Promover los nuevos conocimientos y el enfoque puesto a disposición por el proyecto para la Comu-nidad Académica Europa .

Más información en http://www.benvic.odl.org/

Las fases que se siguen en la aplicación de la metodo-logía BENVIC son las siguientes:

1. Definir indicadores de calidad de e-learning Como grandes áreas de indicadores, el proyecto se-ñala las siguientes:

· Servicios al estudiante· Apoyos a los tutores· Recursos de aprendizaje· Evaluación· Accesibilidad· Eficiencia· Recursos tecnológicos· Ejecución institucional

2. Delimitar el mapa de competencias como he-rramienta que permite al socio BENVIC verificar el nivel de habilidades en su institución con relación al manejo del campus virtual que poseen los tutores, los alumnos, los técnicos y la organización. Por tanto puede estimar la diferencia entre las habilidades requeridas y las ha-bilidades disponibles, al mismo tiempo que facilita la auditoría pedagógica.

3. invitar a varias instituciones por primera vez a ser auto-evaluadas. Las primeras instituciones que participan pasan a integrar los primeros datos de la base de datos.

4. Determinar socios benchmarking que demues-tren tener buenas prácticas. A partir de las prime-ras experiencias se pueden ya establecer ejemplos

de buenas prácticas, que servirán de comparación a otros socios.

5. crear club bEnvic con una base de datos de diferentes instituciones. Dicha base de datos se va agrandando con la entrada de nuevas instituciones para la autoevaluación.

Entre los estudios relacionados con el sector e-lear-ning, destaca el Quality On the Line desarrollado por el Institut for Higher Education Policy en el 2000, orientado a determinar los benchmarks determinantes de la calidad en la formación e-learning. Los resul-tados de dicho estudio resaltan una serie de buenas prácticas importantes a seguir en la formación e-lear-ning o teleformación. Estas son:

1. Existencia e implantación de un plan tecnológico, documentado, que incluya medidas electrónicas de seguridad. 2. Máxima fiabilidad del sistema tecnológico. 3. Existencia de un sistema centralizado de soporte, para crear y mantener la infraestructura educativa. 4. Utilización de directrices en el diseño y desarrollo de los cursos. 5. Actualización y revisión periódica de los mate-riales. 6. Diseñar el proceso de enseñanza/aprendizaje de forma que obligue al alumnado a implicarse. 7. Papel esencial de la interacción del alumnado consigo mismo y con el profesorado, y facilitarla a través de diversos medios telemáticos.8. Ofrecer respuestas constructivas a las consultas y aportaciones del alumnado, y hacerlo en un plazo breve. 9. Enseñar al alumnado los métodos adecuados de búsqueda. 10. Antes de comenzar el curso, dar al alumnado información suficiente para determinar si tienen la


motivación necesaria y los recursos adecuados. 11. Dar a los estudiantes información complementa-ria sobre el curso, incluyendo objetivos, conceptos e ideas, y especificar claramente qué resultados se esperen del programa. 12. Dar acceso a una biblioteca suficiente, que in-cluya recursos accesibles a través de la red. 13. Acordar expectativas referentes a plazos de entrega y corrección de actividades. 14. Dar al alumnado información suficiente sobre los programas, incluyendo requerimientos de ad-misión, precios, libros, accesorios, requerimientos técnicos y servicios de soporte. 15. Dar al alumnado información y formación prác-ticas sobre cómo obtener recursos a través de bases de datos, redes de bibliotecas, servicios públicos, servicios de noticias y otras fuentes. 16. Ofrecer al alumnado acceso fácil al soporte técnico durante todo el curso, instrucciones deta-lladas sobre el funcionamiento de los medios tec-nológicos utilizados y sesiones prácticas antes del inicio del curso. 17. Ofrecer una respuesta rápida y precisa a las con-sultas dirigidas al servicio de soporte al alumnado y disponer de un sistema estructurado de atención de reclamaciones. 18. Dar asistencia técnica al profesorado y animarlo a utilizarla. 19. Facilitar la transición del profesorado desde es-trategias presenciales a estrategias on-line. 20. Mantener el soporte al profesorado durante todo el curso. 21. Facilitar al profesorado información referente a cómo resolver problemas derivados del uso que el alumnado pueda hacer de los datos que reciba. 22. Elaborar un proceso de evaluación de la efectivi-dad pedagógica del programa, aplicando exigencias específicas.


23. Evaluar la efectividad del programa con datos sobre inscripciones, costes y aplicaciones innova-doras y adecuadas a la tecnología. 24. Revisar periódicamente los resultados de apren-dizaje previstos.


proGrama bEnvic

Definir indicadores de calidad e-learning

Delimitar el mapa de competencias

Elaborar la base de datos

Determinar socios benchmarking

5.5.5 concLuSionES

Los modelos de calidad estudiados en esta Unidad como la ISO o el EFQM, son herramientas de evalua-ción de uso frecuente en las organizaciones, que, en la actualidad se están adaptando a los contextos de formación virtual. Sin embargo, se trata más de mo-delos próximos a la gestión que a los propios procesos educativos. Es decir, son modelos cuyo énfasis está puesto en la gestión administrativa, la orientación y sa-tisfacción del cliente, la relación de coste – beneficio, etc… Aspectos clave de las organizaciones y empre-sas, pero que no cubren los aspectos esenciales de los procesos de enseñanza aprendizaje.

Barberá (2001) propone como dimensiones que deben ser evaluadas en la formación virtual:

· El escenario en el que se produce la acción edu-cativa (bases psicopedagógicas, estructura general del sistema, etc.).· Las propuestas de los participantes involucrados en el proceso de instrucción (motivaciones, objeti-vos y demandas cognitivas).· Los agentes instruccionales (roles de estudiantes, de docentes y de la misma institución).· La intervención y la interacción educativa (or-ganización de la actividad educativa, patrones de interacción y discurso virtual).· Y la construcción misma del conocimiento (ca-racterísticas del conocimiento, dinámicas y tipos de construcción).



Muchas de estas dimensiones son recogidas a través de la práctica del benchmarking, que consiste en un proceso de autoevaluación y comparación de unas instituciones con relación a lo que está considerado como buenas prácticas, bien sean casos reales o defi-niciones teóricas establecidas por expertos.



EvaLuación DE La caLiDaD En E-LEarninG


EnfoquE parciaL DE La EvaLuación

EnfoquE GLobaL DE EvaLuación

ISO �000

EFQM

“Benchmarking”

EvaLuación DE La activiDaD

Evaluación de Contenidos y LMS

Calidad formativa y gestión del proceso Costes/beneficios

Modelo de Kirkpatrik

Reacción

Aprendisaje Transferencia

impacto

La evaluación del rendimiento de los alumnos en te-leformación es un aspecto muy importante a tener en cuenta en la implantación de una solución e-learning en un Centro. Evaluar significa conocer los logros y resultados obtenidos a lo largo del proceso formativo, valorar si se han conseguido los objetivos de apren-dizaje establecidos y establecer las posibles mejoras tanto en su desarrollo como en acciones futuras. Los responsables del diseño de las acciones formativas deben considerar la evaluación como un proceso glo-bal, de recogida de información relevante que permita tomar las decisiones adecuadas y con garantías de éxito durante y al final de la acción formativa.

Existen a disposición de los tutores numerosas herra-mientas para la correcta evaluación de los alumnos a través de medios telemáticos, incluso más que las disponibles en la formación presencial, ya que los nu-merosos registros existentes hacen posible retomar y comprobar el progreso del alumno a lo largo de un curso.



Resumen del Módulo 5

MÓDULO 5

No debe olvidarse que la evaluación en e-learning no se centra exclusivamente en el alumno, sino que debe considerarse desde la globalidad y desde los criterios de calidad mínimos exigibles desde la perspectiva del Centro, tutores y otros agentes implicados. Por tan-to, evaluar la calidad de un programa e-learning es importante para los gestores de formación, ya que permite analizar los resultados y beneficios aportados, así como las mejoras necesarias para posteriores pro-gramas formativos. Tener en cuenta los procesos de calidad aplicados en el Centro y durante el desarrollo de las acciones formativas garantizará en gran medida el éxito de las acciones formativas.


LibroS

· Barberá, E. (2001) (Coord.) La incógnita de la educa-ción a distancia. Barcelona. Horsori.· Bates, A.W. (1999) Research and Evaluation. En A.W. Bates, Managing Technological Change, pp. 198-210. California. Jossey-Bass.· Baumgartner, P. y Payr, S. (1997) Methods and prac-tice of software evaluation. The case of the European Academic Software Award. Proceedig of ED-MEDIA 97 & ED-TELECOM 97, AACE.· Belanger, F. y Jordan, D.H. (2000) Evaluation and Im-plementation of Distance Learning: technologies, tools and techniques. London. Idea Group Publishing.· Cabero, J. (2001). La evaluación e investigación sobre los medios de enseñanza. En J. Cabero, Tecnología Educativa. Diseño y utilización de medios de enseñan-za, pp. 447-490. Barcelona. Paidós.· Deming, W.E. (1981). Management and statistical te-chniques for quality and productivity. New York. New York University.· EPISE (2000). Evaluación de la formación en las em-presas españolas. Barcelona. EPISE.· European Commission DG Education and Culture (2002). Benchmarking of Virtual Campuses Project. Barcelona. Universitat Oberta de Catalunya.· Galvis, A. (2000). Evaluación de materiales educativos computerizados por juicio de expertos. En A. Galvis, In-geniería de software educativo. Colombia. Universidad


de los Andes.· González, T. (2000). Evaluación y gestión de la calidad educativa. En T. González (Coord.) Evaluación y ges-tión de la calidad educativa. Un enfoque metodológico, pp. 49-80. Málaga. Aljibe.· Harvey, L. y Green, D. (1993). Defining quality. Asses-sment and Evaluation in Higher Education, 18 (1), pp. 9-34.· Horton, W. (2001). Evaluating e-learning. California. ASTD (American Society for Training and Develop-ment).· Institute for Higher Education Policy (2000). Quality on the line. Benchmarks for Succes in Internet-Based Distance Education. Washington. National Education Association.· ISO/IEC 9126 (1991). Information technology. Soft-ware product evaluation. Montreal.· Kaplan, R.S. y Norton, D.S. (1997). El cuadro de mando integral. Barcelona. Gestión 2000.· Kirkpatrick, D.L. (1999). Evaluación de acciones for-mativas: los cuatro niveles. Barcelona. EPISE-Gestión 2000. 1ª edición 1994.· León, J.A. (1998). La adquisición de conocimiento a través del material escrito: texto tradicional y sistemas de hipertexto. En C. Vizcarro y J.A. León (Ed.), Nuevas tecnologías para el aprendizaje. Madrid. Pirámide.· Mateo, J. (2000b). La evaluación educativa, su prác-tica y sus metáforas. Barcelona:. Horsori.· McArdle, G.E. (1999). Training Design and Delivery.

Alexandria, VA. American Society for Training and De-velopment.· Oliver, M. (1998) (Ed.) Innovation in the Evaluation of Learning Technology. London. University of North London.· Pérez Juste, R., López Rupérez, F., Peralta, M.D. y Muni-cio, P. (2000) Hacia una educación de calidad. Gestión, instrumentos y evaluación. Madrid. Narcea.· Rosenberg, M. (2001). E-learning: Estrategias para transmitir conocimiento en la era digital. Bogotá. McGraw-Hill Intramericana.· Silvio, J. (2000). La virtualización de la universidad. ¿Cómo podemos transformar la educación superior con al tecnología?. Caracas. IESALC/UNESCO.· Tait, A. (Ed.)(1997). Quality Assurance in Higher Edu-cation: Selected Case Studies. Vancouver. The Com-monwealth of Learning.· Van De Berghe, W. (1997). Aplicación de las Normas ISO 9000 a la enseñanza y la formación. Interpretación desde una perspectiva europea. Luxemburgo. CEDE-FOP.

EnLacES

· AEFOL: www.aefol.com· Albert Sangrá (2001)“La calidad en las experiencias virtuales de educación superior”; http://www.uoc.edu/web/esp/art/uoc/0106024/sangra.html#2





· Armand Feigenbaum: http://www.geocities.com/gehg48/TeoriasFeigenbaum.html· Asociación Española de Normalización y Certifica-ción (España) http://www.aenor.es/desarrollo/ini-cio/home/home.asp· BENVIC Project http://www.benvic.odl.org· Britain, S. y Liber, O. (1999) A framework for Pe-dagogical Evaluation of Virtual Learning Enviroments. University of Wales. http://www.leeds.ac.uk/educol/documents/00001237.htm· Cashion, J. y Palmieri, P. (2002). Evaluation of Quality in On-line Learning. TAFE School of Social Sciences. Swinburne University of Technology. http://www.tafe.swin.edu.au/ncver/· Corporate Universities http://www.corpu.com· Criterios de revisión de un curso que utiliza Apren-dizaje Basado en Problemas http://64.233.183.104/search?q=cache:x4kbFoq7qzMJ:www.itesm.mx/va/dide/pdhd_2001/criterios_pbl_dacs.doc+ELABORACI%C3%93N+DE+PRUEBAS+COLABORATIVAS&hl=es&ct=clnk&cd=7· Diario del profesor como instrumento de VALORA-CIÓN Xosé M. Souto González (Proyecto GEA-CLÍO) http://www.naullibres.com/html/aaa/descargas/geaclio/diarioprofesor.pdf· Duart, J.M. (2001a). Avaluació de la qualitat docent en entorns virtuals d’aprenentatge. http://www.uoc.edu/web/cat/art/uoc/0109041/duartmartin_imp.html· Duart, J.M. (2001b). ROI i e-learning: més enllà de be-neficis i costos. http://www.uoc.edu/web/cat/art/

uoc/duart0902/duart0902.html· Educación a distancia Ministerio de Educación. Re-pública de Perú. http://portal.perueduca.edu.pe/comunidad/xtras/web/catalogo_multimedia/doc_med/DINESST_evaluacion_en_educacion_secunda-ria_a_distancia_2003.pdf· Edutec. Revista Electrónica de Tecnología Educativa.Núm. 12. /junio 00 http://www.uib.es/depart/gte/edutec-e/Revelec12/deBenito.html· EFQM: http://www.efqm.org· El reto de la educación a distancia Lic. Mayerling Medina de Valenzuela UPEL-IMPM Instituto de Mejora-miento del Profesional del Magisterio (VIII Congreso de · Educación a Distancia CREAD MERCOSUR/SUL 2004) http://fgsnet.nova.edu/cread2/pdf/Medina.pdf· Enfoques y modelos para la evaluación del e-lear-ning:http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm· Entidad Nacional de Acreditación (España) http://www.enac.es/· European Network on Intelligent Technologies for Smart Adaptive Systems (EUNITE) (2003) http://www.eunite.org· European Network on Intelligent Technologies for Smart Adaptive Systems (EUNITE) (2003) http://www.eunite.org · European Quality Assurance http://www.eqa.org/· Evaluar a través de internet REVISTA PIXEL-BIT Nº 24 JULIO 2004 Mª. Teresa Fontán Montesinos. Uni-

versidad de Las Palmas de Gran Canaria(España-UE) http://www.sav.us.es/pixelbit/pixelbit/articulos/n24/n24art/art2406.htm· Fondo para la Normalización y Certificación de Cali-dad en Venezuela (Fondonorma): http://www.fondo-norma.org.ve/index2.htm· Fundación (Fundibeq) encargada del Modelo Ibero-americano de Excelencia en la Gestión se proponen distintas herramientas que pueden ser consultadas a través de su web: http://www.fundibeq.org/metodo-logias/metodologia.html· Herramientas web gratuitas http://educ810web-tools.blogspot.com/2006/09/herramientas-web-debido-la-extensa.html· IEEE: Learning Tecnology Standards Committe:http://ieeeltsc.org/· Instituto Argentino de Normalización y Certificación http://www.iram.org.ar/· Instituto Colombiano de Normas Técnicas http://www.icontec.org.co/Home.asp?CodIdioma=ESP· Instituto Nacional de Normalización de Chile http://www3.inn.cl/portada/index.php· Instructional Management Systems Project (IMS) (2000) http://ims.org· International Council of Distance Education (ICDE) http://www.icde.org· Kirkpatrick: http://www.uhu.es/yolanda.pelayo/do-cencia/Virtualizacion/2-contenidos/parte%204/MODELO%20DE%20KIRCKPATRICK.pdf




MÓDULO 5

· La evaluación de los aprendizajes en la importancia de la comunicación escrita Lic. Marian Suárez /Sep-tiembre 2006 http://excon.com.ve/Documentos/La_importancia_de_la_comunicacion_escrita.pdf· La página web de la Fundación Iberoamericana para la calidad: http://www.fundibeq.org/· Libro de Buenas Prácticas e-learning: http://www.buenaspracticas-elearning.com/node/45· MATRICES DE RUBROS PARA EVALUACIÓN CUALI-TATIVA DEL APRENDIZAJE EN EDUCACIÓN A DISTAN-CIA Jorge Méndez Martínez http://64.233.183.104/search?q=cache:mCdfUdpwM2MJ:www.universia.pr/congreso/30/30.rtf+EVALUACI%C3%93N+DE+ACTITUDES+A+DISTANCIA&hl=es&ct=clnk&cd=10· Mendoza, L., Pérez, M. y Rojas, T. (2001). Modelo sis-témico para estimar la calidad de los sistemas de soft-ware (MOSCA). Acta Científica Venezolana. Universidad Simón Bolívar. http://lisi.usb.ve/publicaciones· Modelo de evaluación de plataformas tecnológi-cas e-learning. Instituto Tecnológico de Buenos Aires. http://www.itba.edu.ar/capis/epg-tesis-y-tf/cha-rum-tm.pdf · Modelo iberoamericano de excelencia en la gestión. Edi-ción 2005 http://calidad.unad.org/upload/85/84/modelo_iberoamerican_excelencia_2005.pdf· MOU-Perseus project (2000) http://www.perseus.tufts.edu· National Education Association http://www.nea.org· Normas ISO: http://www.iso.org

· Organización Internacional de Estandarización; http://www.iso.org/iso/home.htm· P. Crosby: http://www.geocities.com/gehg48/Teo-riasCrosby.html· Promoting Multimedia Acces Education and Trai-ning in European Society (1999). Memorandum of Un-derstanding. http://www.ecotec.com/sharedtetriss/news/mou1198/mou3-slidepresentation/· Quality Standards on the on-line Courses of Michi-gan Virtual University (2002) http://standards.mivu.org/standards/ · Quality Standards on the Virtual Campuses of the Virtual University Penn (2001) http://www.vup.org/standards/· Richardson, J. (2001). An evaluation of Virtual Lear-ning Enviroments and their learners: do individual di-fferences effect perception of virtual learning enviro-ments. Interactive Educational Multimedia, 3, october. Consultada el 25-abril-2003 en http://www.ub.es/multimedia/iem/· Sigalés, C. (2002). El potencial interactiu dels entorns virtuals d’ensenyament i aprenentatge en l’educació a distància. http://www.uoc.edu/web/cat/art/uoc/sigales0102/sigales0102_imp.html· Sistema maleable para el apoyo y guiado del apren-dizaje colaborativo basado en servicios grid Miguel L. Bote Lorenzo, Eduardo Gómez Sánchez, Guillermo Vega Gorgojo, Yannis. A. Dimitriadis, Juan I. Asensio Pérez, Davinia Hernández Leo. (Dpto. de Teoría de la Señal, Comunicaciones e Ingeniería Telemática. Universidad

de Valladolid) http://gsic.tel.uva.es/uploaded_fi-les/52415_BoteJITEL05.pdf· TECNICAS DE ENTREVISTA http://lsi.ugr.es/~ig1/docis/entre1.doc.sxi.pdf· Técnicas de recolección de datos http://www.los-recursoshumanos.com/focus-group.htm· The Council of Regional Accrediting Commissionshttp://www.msache.org· The Malcolm Baldrige Nacional Quality Awardwww.quality.nist.gov· UNIVERSIDAD DE LA FRONTERA, CHILE.Autores: Mi-riam León Herrera, Paola Velásquez Siefert y Miguel Ripoll Novales http://www.virtualeduca.org/virtuale-duca/virtual/actas2002/actas02/804.pdf· Web-based Education Commission http://www.ed.gov/offices/AC/WBEC/FinalReport/WBECReport.pdf

artÍcuLoS

· López Rupérez, F. (1997). Complejidad y educa-ción. Revista Española de Pedagogía, 206, pp. 103-112. Mantyla, K. (2000) Evaluating Program Succes. En K. Mantyla, Distance Learning Yearbook, pp. 259-287. New York. McGraw-Hill.· Navarro, E. (1999). Evaluación de materiales multime-dia. Comunicación y Pedagogía, 157, pp. 36-39.· Pineda, P. (2002) Formació, transferència i avaluació: un triangle complex. Revista Econòmica de Catalunya,




MÓDULO 5

44, pp. 79-89.· Pineda, P. et al. (1999) ¿Cómo se evalúa la formación en las organizaciones?. Capital Humano, octubre y noviembre, pp. 126-127.· Ramussen, K. y Davidson, G.V. (1996). Dimensions of learning styles and their influence on performance in hypermedia lessons. CD-ROM Proceedings from the anual ED-MEDIA/ED-TELECOM conference. Article nº 385.· Rodríguez, J.L., Rubio, M.J. y Escofet, A. (2001). Cer-tificación de la calidad de materiales multimedia edu-cativos. E-CumLaude. Universidad de Barcelona. Do-cumento inédito.· Mateo, J. (2000a). La evaluación del profesorado y la gestión de la calidad de la educación. Hacia un modelo comprensivo de evaluación sistemática de la docencia. Revista de Investigación Educativa, 18 (1), pp. 7-34.

informES

· Middle States Commission on Higher Education (2001). Interregional Guidelines for Electronically Offe-red Degree and Certificate Programs. Middle States Commission on Higher Education.· Van Slyke, C. Kittner, M. y Belanger, F. (1998). Identifying Candidates for Distance education: A telecommuting perspective. Proceedings of the America’s Conference on Information Systems, pp. 666-668. Baltimore.



MÓDULO 5

Anotaciones



MÓDULO 5

Anotaciones

Date post:	16-Oct-2018
Category:	Documents
Upload:	dangcong
View:	215 times
Download:	0 times

Curso Tutor de Teleformación -...

Documents