1

Evaluación de programas de incorporación de TICs: ¿Qué se evalúa y qué evidencias encontramos?

I. Introducción En los últimos años se observa un número creciente de programas y políticas orientadas a la incorporación de nuevas tecnologías en educación. Se trata de iniciativas nacionales, jurisdiccionales e institucionales. En este marco, se diseñan dispositivos que permiten evaluar el impacto o el proceso, o bien monitorear la implementación de los programas lo cual permite contar con evidencias acerca del alcance del mismos. No hay por el momento evidencias concluyentes acerca del impacto que tienen estas políticas o programas, “al momento presente, la evidencia sobre efectos es algo inconsistente, aunque parece ser que, en determinados contextos, con algunos alumnos, en ciertas disciplinas, el rendimiento ha mejorado.”1 En gran medida esto se debe a que: a) se trata de iniciativas recientes, por lo que es complejo conocer el efecto que tienen a mediano y largo plazo, o bien se implementan a baja escala, por lo que sus resultados son difíciles de generalizar y/o son contradictorios (Condie & Munro, 2007; Cox et.al. 2003); b) en educación es complejo aislar el efecto “neto” que tienen determinadas políticas o programas ya que existen una multiplicidad de variables que condicionan la relación entre la variable dependiente y la/s independiente/s2; y c) en gran parte de los programas no está en claro, qué se busca impactar específicamente como consecuencia de la implementación de los mismos, lo cual dificulta poder avanzar en definiciones acerca de cómo medirlo y con qué instrumentos. No obstante, el análisis de las evaluaciones realizadas sobre la incorporación de las TICs permite enriquecer la discusión metodológica y aportar al diseño y gestión de iniciativas. En términos generales, podría decirse que hay acuerdo en el propósito de este tipo de iniciativas que es lograr una mejor calidad de los aprendizajes de los alumnos, reconociendo la intencionalidad pedagógica que subyace a estos programas. Sin embargo, se presentan diferencias respecto de la prioridad asignada a los objetivos específicos o metas. En la Figura 1 se identifican los distintos tipos de impacto formulados por gran parte de los proyectos de incorporación de TICs y se describen los aspectos a los que mayormente se hace referencia en los estudios disponibles. Más

1 BECTA (2007): “The impact of ICT in schools- a landscape review”, en Brunner, José Joaquín (2008).

¿Una sociedad movilizada hacia las TIC?. Capítulo 4. En: Las TIC. Del aula a la agenda política. Ponencias del Seminario Internacional. Cómo las TIC transforman las escuelas, IIPE- Unesco / UNICEF, Buenos Aires. Pp. 52 2 Se reconoce que la relación entre el uso de las TIC y el aprendizaje no es lineal, siendo necesario

explorar aspectos tales como: a) la relación que existe entre el tipo de uso de la tecnología y los resultados de aprendizaje en las distintas áreas disciplinares; b) las condiciones escolares y pedagógicas en que se utilizan las TIC; y c) el papel que juegan las características sociales (capital cultural, social y económico), como así también las características individuales (género, capacidad cognitiva y actitudes) de los alumnos en su apropiación y forma de uso de las TIC. (Sunkel, 2010)

adelante en el capítulo se profundizará en la caracterización de cada tipo de impacto y se presentarán evidencias al respecto.

Figura 1: Tipos de impacto identificados en Programas de incorporación de TICs

En primer lugar, muchas de las metas de los programas de incorporación de TICs hacen referencia al impacto social. Éste incluye tanto aspectos relativos a la brecha generacional (diferencia entre nativos e inmigrantes digitales), como a la brecha social (diferencia entre quienes pueden acceder a una computadora en su hogar y quienes no pueden hacerlo) y, recientemente, a la diferencia en

IMPACTO SOCIAL

Brecha generacional; Brecha social (diferencias en el acceso y

frecuencia de uso) y "Segunda brecha" (diferencias en el tipo de

uso y apropiación de TICS).

IMPACTO FÍSICO Infraestructura, tipo de

equipamiento, conectividad, soporte técnico

IMPACTO INSTITUCIONAL O DE GESTIÓN

Gestión y Planificación, Tipo y disponilidad de apoyos al los

docentes; capacitación docente; liderazgo del directivo; acceso y

disponibilidad de recursos digitales.

IMPACTO PEDAGÓGICO EN LOS DOCENTES

Estrategias de enseñanza, desarrollo curricular, motivación y actitud hacia las TIC, dinámica en

el aula, alfabetización digital, representaciones.

IMPACTO EN LOS APRENDIZAJES DE LOS ALUMNOS

Aspectos generales: tipo de TIC, frecuencia, complejidad cognitiva,

utilidad

Logros educativos asociados a ciertos contenidos

Microcompetencias o destrezas de manejo funcional

Competencias asociadas a la alfabetización digital para el siglo

XXI

Actitudes con respecto al aprendizaje (motivación,

compromiso, concentración)

TIPOS DE IMPACTO

IDENTIFICADOS EN

PROGRAMAS DE

INCORPORACIÓN

DE TICS

3

el tipo de uso que se hace de las TICs, identificado en la bibliografía como “segunda brecha”. En segundo lugar, se formulan metas físicas en relación al tipo de equipamiento y conectividad requeridos. En tercer lugar, pueden plantearse metas vinculadas con aspectos institucionales o de gestión, como por ejemplo, facilitar la participación de las familias, o bien aspectos asociados con el uso administrativo de la tecnología. En este tipo de impacto se incluyen los aspectos relativos a los apoyos institucionales y del sistema para los docentes, tales como capacitación docente, y la disponibilidad de recursos digitales. En cuarto lugar, se formulan objetivos asociados al impacto pedagógico en los docentes a partir de la introducción de los programas o políticas de incorporación de TICs. Por lo general, se formulan metas vinculadas al trabajo de los docentes en el aula, particularmente asociadas al tipo de estrategias de enseñanza que se espera que tengan lugar, como así también cuestiones relativas a las representaciones de los docentes, sus motivaciones y actitud hacia las TICs. Finalmente, se formulan también objetivos orientados a aspectos específicos de los aprendizajes de los alumnos, como por ejemplo, mejorar el rendimiento en algún área en particular, ciertas destrezas o microcompetencias (dominio de herramientas digitales) o competencias asociadas a la alfabetización digital en sentido amplio (asociadas al poder acceder, gestionar, integrar, evaluar y crear información utilizando las TICs), e incluso actitudes con respecto al aprendizaje (motivación, compromiso, concentración). Desde ya que no se trata de impactos excluyentes sino de metas que son preciso contemplar de manera integral. Por ejemplo, la incorporación de TICs idealmente no supone la mera entrega de equipamiento y/o provisión de conectividad, sino que debiera estar acompañada por el desarrollo de propuestas pedagógicas que permitan hacer un uso diferencial de dicha herramienta, por la capacitación docente, y por la existencia de “apoyos institucionales” que permitan sostener la tarea que el docente realiza en el aula. Brunner (2008: 51) identifica algunas condiciones de introducción que son necesarias para la movilización hacia las TICs desde el punto de vista del sistema escolar: “…a) la formulación de una estrategia nacional (o de nivel administrativo menor) de introducción y de planes de innovación para las escuelas; b) la identificación de líderes en ambos niveles (macro y micro); c) un clima favorable a la innovación dentro de las escuelas; d) el apoyo sostenido a los innovadores y adoptadores tempranos; e)oportunidades de uso significativo e incentivos para el uso; f) claridad respecto de los objetivos buscados (en los niveles superior, intermedio y de escuelas).”3 El diseño de las evaluaciones de muchos de los programas de incorporación de TICs depende de la pregunta que el equipo responsable se formule acerca de aquello que se quiere conocer y toma como insumo esencial lo que en cada caso se define como objetivo específico. La evidencia internacional relevada permite inferir que hay elementos recurrentes en los distintos objetivos buscados por los programas desarrollados a nivel internacional.

II. Tipos de impacto formulados por programas o políticas de incorporación de TICs: variables, indicadores y evidencias. Las evidencias existentes identifican estudios con muy diversos diseños y propósitos que buscan medir el impacto de los programas de incorporación de TICs. En algunos casos se trabaja desde abordajes cualitativos para el análisis de casos a nivel micro. En otros, se incorporan técnicas cuantitativas y se busca medir impactos a mayor escala. Si bien esto dificulta la comparación entre los resultados obtenidos en cada caso, la diversidad de diseños enriquece la discusión metodológica sobre los dispositivos que permitan dar cuenta de manera integral los impactos que presentan los programas de incorporación de TICs en educación. Resultan especialmente interesantes los diseños que contemplan etapas progresivas de desarrollo de distintos modelos de incorporación de TICs, en donde se evalúa de manera integral el grado en que cada sistema educativo o establecimiento se ubica en las siguientes fases: a) emergente, b) de aplicación, c) integración, d) transformación.4 En el contexto latinoamericano, Severin (2010) propone el análisis del grado de maduración de los distintos proyectos, a partir del análisis de diferentes indicadores, y contemplando las siguientes etapas: a) Irrupción, b) Aplicación, c) Integración, y d) Transformación.5

4 GeSCI ICT – Education Matriz. Disponible en: http://www.gesci.org/assets/files/ICT-

TPD%20Planning%20Guide.pdf 5 Recientemente, LUGO, María Teresa y Valeria KELLY (2011) desarrollaron una matriz para planificar la

incorporación de TICs en las instituciones educativas que, de manera similar, propone las siguientes seis dimensiones e manera secuencial: (a) gestión y planificación, b) las tic en el desarrollo curricular, c)desarrollo profesional de los docentes , d)cultura digital en la institución escolar, e)recursos e infraestructura de TIC y f) institución escolar y comunidad). En este caso las etapas son inicial, intermedia y avanzada.

5

Figura 2: Etapas progresivas de desarrollo de los distintos modelos de incorporación de TICs

Fuente: Severin (2010)

A continuación, se presenta la sistematización realizada para cada uno de los tipos de impacto anteriormente mencionados, incorporando una mayor explicación acerca de cada objetivo específico y algunas evidencias al respecto. Es preciso señalar que no es conveniente la utilización de indicadores en forma aislada, sino explicitando las relaciones que existen entre ellos de acuerdo al modelo teórico subyacente. Asimismo, no hay demasiados estudios de evaluación y la difusión de estos es además escasa, lo cual dificulta la toma de decisiones, en un contexto en donde la inmediatez de la tecnología y la vigencia de los recursos utilizados complejiza aún más la oportunidad de utilizar los resultados de las evaluaciones por un tiempo prolongado. Además es preciso considerar que aun cuando se utilicen los mismos recursos tecnológicos, las condiciones de implementación de cada iniciativa no son siempre replicables, por lo que se debe también observar los contextos específicos en los que cada programa es diseñado e implementado.

II.a. Impacto Social

Gran parte de las políticas educativas buscan democratizar el acceso a la tecnología, reconociendo el potencial que tienen las TICs para lograr un desarrollo humano y social más inclusivo y, a su vez, el hecho de que la tecnología por sí sola no puede resolver problemas estructurales (Sunkel, 2010).

De acuerdo Katzman (2010: 19), “…aun cuando no se puede desconocer que las oportunidades de conectividad en las escuelas ayudan a contrarrestar parcialmente las desigualdades en el uso de computadoras que tienen su origen en las condiciones socioeconómicas de los hogares, el reconocimiento de las diferencias entre las intensidades de uso en los hogares y en las escuelas advierte sobre los desafíos que enfrentan las políticas que intentan reducir la brecha digital solo a través de las oportunidades de acceso y de uso en los mismos establecimientos educativos.”6. De este modo, se reconoce una segunda brecha digital que hace referencia a las diferencias en la capacidad de usar las TICs y de beneficiarse de ellas. Se abren así nuevas inquietudes asociadas al modo en que los alumnos utilizan las computadoras (Hu, 2007) y sobre las variables que explican sus diferencias, entrando en juego dimensiones relacionadas a las características sociales, individuales o personales de los estudiantes.

Emmison & Frow (1998) argumentan que una familiaridad y competencia pre-existente en el uso de las tecnologías de la información debe generar una sensación de seguridad en relación a la cultura académica legitimada en el colegio. Por lo tanto una distribución desigual de destrezas y competencias relacionadas al uso de la información tecnológica puede tener efectos similares a los de una distribución desigual del capital cultural. Así, es esperable que quienes tienen un alto capital cultural encontrarán en sus prácticas ligadas al uso de las TICs una forma de reforzarlo, mientras que quienes no tienen acceso a la tecnología o carecen de un capital cultural sólido quedarán rezagados (Claro, 2010). De este modo, se deben considerar no sólo las diferencias en el acceso a las TICs sino también las desigualdades en los usos y apropiación de la tecnología.7 ¿Cómo se mide? Las variables más frecuentemente analizadas están relacionadas con el contexto social y familiar de los alumnos, el género, y variables tales como las características cognitivas de los alumnos para intentar dar cuenta de la “segunda brecha”.

7 De acuerdo con Sunkel (2009) la apropiación o uso significativo se diferencia del uso de las TIC en tanto

la apropiación refiere al uso significativo de las TIC, en el cual la persona ejerce un grado de control y elección sobre la tecnología y contenidos, a diferencia del uso que supone cualquier tipo de contacto con TIC (pudiendo éste ser o no significativo y poder o no traer consecuencias de mediano/largo plazo).

7

Respecto del contexto social y familiar, se consideraban inicialmente el nivel socioeconómico, pero posteriormente se incorporaron otros aspectos que enriquecen la definición multidimensional del contexto familiar, tales como la estructura familiar, el involucramiento de los padres, los recursos educacionales en la casa y el capital social y cultural de la familia (Buchmann, 2003 en Claro, 2010). Es frecuente también que se pregunte por los recursos educativos disponibles en el hogar. Por ejemplo, la prueba PISA (OECD, 2005) no sólo indaga acerca de los materiales de lectura disponibles sino también pregunta por la posesión de capital tecnológico, indagando aspectos tales como presencia de computadora en el hogar y el tipo de actividades desarrolladas con la ella (uso de software educativo y acceso a Internet). Algunas evidencias Distintos estudios concluyen que el origen social y contexto familiar8 tiene mayor incidencia que los factores escolares en la explicación de la variabilidad de los logros educativos (LLECE, 2008; Ministerio de Educación de la Ciudad de Buenos Aires, 2011). En relación a las variables de contexto familiar y la incorporación de tecnología, la influencia de la familia no impacta solamente en las posibilidades de acceso sino también en las actitudes de los alumnos hacia las TICs. En un estudio nacional realizado por el Ministerio de Educación y Cultura de España (2007) que analizó el rol formativo de la familia en relación a las TICs, se encontró que “...este rol varía dependiendo del nivel de estudios de los padres. Estudiantes de familias con estudios universitarios fueron quienes expresaron en mayor porcentaje haber aprendido con su propia familia a usar el computador. Adicionalmente, encontraron que el nivel de estudios de los padres estaba también relacionado con la actitud de los estudiantes hacia las TIC. Estudiantes con padres con estudios universitarios expresaron mayor interés hacia los computadores que estudiantes cuyos padres tenían solo estudios primarios. Consistentemente, estudiantes con padres universitarios se veían a sí mismos como más competentes con las computadores que estudiantes con padres con estudios primarios.” (Claro, 2010: 20-21). Las diferencias en el nivel socioeconómico de los alumnos y de los establecimientos se expresan tanto en las diferencias en el acceso y frecuencia de uso como en el modo en que se apropian y utilizan la tecnología. Wengslinky (1998), analizando los resultados de matemática de la evaluación estandarizada National Assessment of Educational Progress (NAEP) en Estados Unidos, concluye, al comparar distintos grupos de alumnos para analizar las posibles desigualdades en el uso de la tecnología, que las mayores diferencias se encuentran en como usan la tecnología, dependiendo de la etnicidad, la zona geográfica y el nivel escolar.

8 Estrictamente, estos estudios hacen referencia a distintas variables al nivel del alumno, tales como

sexo, grupo étnico, trabajo infantil, años de escolarización previa, clima escolar y nivel socioeconómico y cultural del alumno. Se diferencia este nivel de análisis de los factores correspondientes al nivel del aula, más vinculados a las características del docente, y del nivel de la escuela, donde se incluyen variables de tipo institucional.

Respecto de la segunda brecha digital, si bien es preciso contar con mayor evidencia acerca del modo diferencial en que los alumnos utilizan las TICs y su relación con los logros educativos, es posible identificar algunos estudios al respecto. En primer lugar, el estudio Catalonia Internet Project: Schools in the Network Society9 identifica distintos tipos de apropiación de las TICs en función de las características individuales y de contexto de los alumnos. Asimismo, se encuentra una asociación entre el logro académico de los alumnos y determinados usos de Internet. Específicamente, se observa una relación positiva estadísticamente significativa entre la utilización de Internet para buscar información y el desempeño académico, mientras que usar las TICs para intercambio de información y colaboración no presenta ningún efecto. (Claro, 2010). Por otra parte, “Peter & Valkenburg (2006) en un estudio realizado con adolescentes holandeses de edades entre 13 y 18 concluye que los recursos socioeconómicos y cognitivos de los jóvenes moldea su uso de Internet como un medio de información y entretención: adolescentes con mayores recursos socioeconómicos y cognitivos usaban Internet más frecuentemente para información y menos frecuentemente para entretención que sus pares con menos recursos socioeconómicos y cognitivos” (Claro, 2010: 293). II.b. Impacto físico Los impactos físicos hacen referencia a garantizar una infraestructura y recursos adecuados a la incorporación de TICs. La definición de qué es lo que se considera adecuado en cada caso varía según las prioridades definidas por cada programa. En términos generales se requiere no sólo de insumos físicos y equipamiento, sino también de conectividad y soporte, de modo tal de garantizar un acceso efectivo. Por ejemplo, una de las Metas en educación del eLAC 2010 se propone “Conectar a Internet, preferiblemente de banda ancha, al 70% de las instituciones de enseñanza pública o triplicar el número actual” (CEPAL, 2010). Para ello, se definen distintas variables que permiten realizar un seguimiento del grado de cobertura que se va logrando por área o institución. Las metas físicas son indispensables en tanto permiten garantizar la disponibilidad del recurso tecnológico, elemento indispensable en los programas de incorporación de TICs. Organismos tales como UNESCO definen un conjunto de indicadores que permiten dar cuenta del grado de avance en la disponibilidad de equipamiento tecnológico y conectividad. Algunos de ellos son:

Proporción de escuelas que usan un receptor de radio con fines educativos

Proporción de escuelas que usan un televisor con fines educativos

Proporción de escuelas con servicio telefónico

9 http://www.uoc.edu/in3/pic

9

Número de alumnos por computadora

Proporción de escuelas con acceso a Internet, según tipo de acceso

Proporción de alumnos que tienen acceso a Internet en la escuela

Proporción de alumnos matriculados en el nivel terciario, por género, en sectores relacionados con las TIC

Proporción de personal docente de escuelas primarias y secundarias con conocimientos sobre TIC

Proporción de escuelas que tienen electricidad Otros indicadores frecuentemente utilizados son:

Cantidad de establecimientos educativos con disponibilidad de reproductores de VHS o DVD

Cantidad de establecimientos educativos con retroproyector

Cantidad total de computadoras disponibles en el establecimiento educativo

Cantidad de computadoras disponibles con fines educativos OCDE

Cantidad de estudiantes por computadora conectada a Internet

Cantidad de docentes por computadora conectada a Internet

Cantidad de computadores en la escuela conectados a Internet según tipo de conexión

En otros casos, las variables seleccionadas hacen referencia al tiempo de uso de la computadora y/o de Internet, por ejemplo (Seo, s/f) la cantidad de horas que el directivo participa de actividades con TICs anualmente y/o la cantidad de horas en que los docentes participan en actividades de capacitación en TICs anualmente. O bien, en referencia a aspectos presupuestarios: el porcentaje del total del presupuesto de la escuela asignado a TICs, y gasto por alumno destinado a la compra de software educativo. Si bien no se profundiza aquí en los estudios de costo efectividad, existen evidencias respecto de ahorros en costos de libros de texto, papelería, evaluaciones y comunicaciones administrativas a partir de la incorporación de programas TICs (Greaves, Hayes, Wilson, Gielniak y Peterson, 2010). Las principales limitaciones asociadas a los programas de incorporación de TICs, que en gran medida coartan su expansión están asociadas a las metas físicas y se centran en: a) restricciones presupuestarias (Lernagie, 2010); y b) costos crecientes de mantenimiento (Vascellaro, 2006). Entre las limitaciones más frecuentemente señaladas para el contexto latinoamericano en estudios de casos, se identifican: a) disponibilidad de plataformas de conectividad para acceder a Internet, b) aspectos de infraestructura tales como la adecuación o “refuncionalización” eléctrica de las escuelas para que sea posible la utilización y carga de computadoras de manera simultánea; c) el tipo de equipamiento digital presente en las escuelas; y d) aspectos patrimoniales y/o de seguridad frente a posibles robos, pérdidas o roturas.

II.c. Impacto institucional En algunos casos, las políticas o programas de incorporación de TICs se proponen logran cambios institucionales. De acuerdo con la sistematización realizada por Nogués y Cafa (2010), se espera que las TICs contribuyan al cambio en dos aspectos. Por un lado, a mejorar la eficiencia de la organización escolar a nivel del sistema educativo (intercambio de información entre la administración central y la local en recolección, monitoreo y análisis de datos), al nivel de cada establecimiento educativo (en la organización y desarrollo profesional), y al nivel del aula (organización e implementación del currículum, estrategias de enseñanza y aprendizaje y comunicación entre profesor y estudiante). Por otro lado, se busca que la incorporación de TICs contribuya a transformar a los establecimientos escolares en instituciones más abiertas y flexibles, en donde exista una comunicación más fluida entre docentes de un mismo establecimiento educativo y entre la escuela y las familias. La evidencia en este aspecto señala que es importante garantizar la existencia de apoyos institucionales al trabajo que se realiza dentro del aula. Este acompañamiento puede darse en distintos niveles. En primer lugar, a nivel personal, la necesidad de adecuación profesional que la incorporación de tecnología supone para los profesores, quienes deben ser capacitados en una herramienta que por su propia definición es dinámica y requiere una actualización permanente. En este nivel se ubican, por ejemplo, las representaciones de los propios docentes respecto del rol diferencial que juega el dominio por parte de los alumnos de un saber que les es ajeno. En segundo lugar, se identifica el nivel institucional (nivel “messo”), en el cual es posible observar aspectos como el acceso a condiciones de infraestructura adecuadas y recursos digitales (Andrew, 2004; Becta, 2005), y el apoyo formal e informal al profesor desde el director del colegio (Law et.al.,2008; Becta, 2005). A su vez, la presencia de un liderazgo y una administración del establecimiento escolar con un alto compromiso con la adopción de las TICs contribuye en gran medida a lograr un mayor impacto institucional (Claro, 2010). Asimismo, en este nivel se identifica la necesidad de contar con apoyo técnico permanente (Trucano, 2005), espacios y tiempos para intercambiar prácticas (Andrew 2004; Cox et.al. 2004) y oportunidades de desarrollo profesional (Trucano, 2005; Cox et.al. 2004). Estas condiciones escolares y pedagógicas posibilitan que docentes y alumnos tengan acceso a las TICs y que las mismas sean utilizadas con fines pedagógicos. Finalmente, desde la macropolítica, es necesario identificar la presencia de políticas que promuevan la capacitación docente, el esquema de incentivos, la prioridad asignada a las políticas de promoción de TICs en las escuelas y el grado de visibilidad de las mismas. Se requiere que los referentes del nivel central estén actualizados y sean capaces de realizar el acompañamiento técnico (Chapman & Malhck, 2004) y financiero que se demanda desde las escuelas. Del mismo modo, es preciso revisar la regulación existente (marcos curriculares, reglamento escolar, entre otros) de modo de evitar que pueda constituirse en un obstáculo y garantizar que la misma sea consistente con las

11

prácticas que promueven el uso de las TICs (Wagner, 2005; Kirkland & Sutch, 2009). II.d. Impacto pedagógico en los docentes Este apartado sistematiza el impacto pedagógico que tienen los programas o políticas de incorporación de TICs en las prácticas docentes, sin profundizar acerca del potencial que representa la tecnología para el desarrollo de estrategias de evaluación en el aula.10 Martín (2008: 69-70) considera que el encuadre teórico a utilizar para comprender lo que ocurre en el aula a partir de la incorporación de TICs puede ser el mismo marco vigotskiano que se viene utilizando hace varios años para analizar las consecuencias de las computadoras en el desarrollo cognitivo11. De acuerdo con esta autora, “…los cambios implican prácticas innovadoras que no se diferencian, en su fundamento teórico de otras innovaciones educativas (…) lo primero que hay que trabajar son esas competencias en los docentes: que hagan una planificación estratégica y no una planificación técnica (…) un indicador del impacto no sería solamente los aprendizajes de los alumnos, sino si hubo cambios en las prácticas de los docentes.” En todos los casos es preciso explicitar en qué aspectos se esperan cambios en las prácticas docentes. Por ejemplo, en Chile se identifican estándares12 para la formación inicial, que permiten operacionalizar el alcance de esta dimensión pedagógica, considerando aspectos tales como: conocer las implicancias del uso de tecnologías en educación y sus posibilidades para apoyar su sector curricular; planear y diseñar ambientes de aprendizaje con TICs para el desarrollo curricular; utilizar las TICs en la preparación de material didáctico para apoyar las prácticas pedagógicas con el fin de mejorar su futuro desempeño laboral; implementar Experiencias de Aprendizaje con uso de TIC para la enseñanza del currículum; evaluar recursos tecnológicos para incorporarlos en las prácticas pedagógicas; evaluar los resultados obtenidos en el diseño, implementación y uso de tecnología para la mejora en los aprendizajes y desarrollo de habilidades cognitivas; y apoyar los procesos de enseñanza y aprendizaje a través del uso de entornos virtuales (Enlaces y Gobierno de Chile, 2006).

10

Para mayor información al respecto es posible consultar acerca de Computer Assisted Assessment (CAA), o bien Computer-Based Assessment (CBA), dependiendo del tipo de participación que tiene la computadora en las distintos aspectos del proceso de evaluación (presentación de las preguntas del examen, ingreso de las respuestas o alternativas seleccionadas, y análisis de los resultados de la prueba, entre otras.) 11

En este sentido, la autora plantea que las principales consecuencias en la enseñanza se concentran en tres aspectos centrales: a) la autonomía en la gestión del conocimiento; b)la co-construcción del conocimiento, y c)la conexión entre contextos educativos formales e informales 12

Se define “… el concepto de estándar TIC para la educación como el conjunto de criterios o normas acordadas que establecen una meta que debe ser alcanzada para asegurar la calidad de las actividades que se realicen a través del uso de las TIC en el contexto educativo. Este concepto de estándar debe cumplir con al menos cuatro características: a) ser producto del consenso, formalizarse en un documento escrito, b) ser usado en forma voluntaria y d) definir con claridad el perfil de usuario al que se dirige.” Fuente: Garrido Miranda, José, Begoña Gros Salvat y Jaime Rodríguez Méndez (2008). “Capítulo 1: Hacia un concepto de estándar TIC para la formación inicial de docentes”. Centro de Educación y Tecnología del Ministerio de Educación de Chile (ENLACES) en colaboración con UNESCO, Oficina Regional de Educación para América Latina y el Caribe (OREALC/UNESCO Santiago). Pp.31. Disponible en: http://www.citcentral.cl/textos/tic_para_fid.pdf

Por lo general, tanto en Chile como en otros países que cuentan con exigencias de certificación docente en TICs, se priorizan tres tipos de competencias que se espera que los docentes adquieran. En primer lugar, competencias básicas en el manejo de las TICs, tales como manejo del entorno Windows, y herramientas como foros, wikis e intranet. En segundo lugar, se identifican competencias colaborativas con el uso de las TICs, como el trabajo en entornos virtuales; y finalmente, se identifican competencias pedagógicas y didácticas. También es posible indagar respecto del tipo de uso efectivo que le dan los docentes a las TICs, o más específicamente a la computadora. En un estudio realizado en Canadá (Karsenti, T., & Collin, S., 2011), se identificaron dos tipos de uso pedagógico de las laptops: uno extracurricular (fuera del aula) y otro relativo a la escuela (dentro del aula). El uso extracurricular estaba asociado a la comunicación con colegas, y con otros actores tales como la administración de la escuela, padres, alumnos por cuestiones predominantemente administrativas, aunque también se incluye el trabajo en la plataforma educativa y algunos software específicos. Por su parte, el uso pedagógico dentro del aula es categorizado en las siguientes acciones: a) búsqueda de información, b) escritura; c) desarrollo de proyectos multimediales; d) presentaciones, del estilo Power Point, integrando texto e imágenes. En todos los casos la pregunta que subyace es si la incorporación de las nuevas tecnologías modifica de manera sustantiva el modo en que los docentes enseñan, el tipo de dinámica que se construye dentro del aula y sus representaciones acerca de la tecnología. ¿Qué evidencias se encuentran al respecto? La sistematización realizada por Claro (2010: 16) aporta evidencias en este sentido: “… un estudio con una muestra nacional de profesores desde 4to básico en adelante en Estados Unidos mostró que junto con ciertas condiciones mínimas de infraestructura y capacitación técnica, la filosofía pedagógica de los profesores de asignaturas estaba relacionado con el uso o no uso de las TIC en la sala de clases (Becker, 2000). Se encontró que profesores que tenían una visión pedagógica constructivista (...) eran más proclives a usar las TIC durante sus clases. Este hallazgo puede ser complementado con lo que encontraron Cox & Webb (2004) (...) encontraron que cuando los estudiantes eran desafiados por los profesores a pensar y cuestionar su propia comprensión, impulsados por software focalizado en un tema individualmente y en pares o en una presentación en clases, obtenían mejores logros.” Otras evidencias al respecto refuerzan la idea de que enseñar la estructura de las disciplinas además del contenido disciplinar tiene un mayor impacto en los logros de los alumnos (Cox & Webb, 2004). El estudio internacional SITES13, realizado en el 2006, encontró que el uso que hacen los alumnos de las TICs depende en gran medida del tipo de estrategias 13

El estudio SITES es un proyecto desarrollado por la IEA (International Association for the Evaluation of Educational Achievement) en 22 países, que tuvo por objeto analizar comparativamente la enseñanza y el uso de TICs en las escuelas. El estudio se centra en el rol de las TICs en la enseñanza y el aprendizaje

13

de enseñanza desarrolladas por los docentes. Los mayores desempeños de las competencias evaluadas se presentaron en alumnos cuyos docentes proporcionaban actividades centradas en el alumno, feedback continuo, y facilitaban el trabajo en grupo y los proyectos de investigación. Del mismo modo, también se confirma la relación entre la mayor motivación de los docentes a utilizar TICs y los resultados en sus alumnos (European Schoolnet, 2005). Esto es consistente con los hallazgos de Wengslinky (1998) quien identificó que una mayor capacitación de los docentes estaba asociada con una mayor motivación de los alumnos, quienes obtienen mejores rendimientos en matemática. (Claro, 2010) Respecto del tipo de estrategias docentes utilizadas, la evaluación del programa “Apple Classrooms of Tomorrow (ACOT)” tuvo un impacto positivo en modificar las prácticas docentes hacia un trabajo en grupo más cooperativo y menos tiempo de trabajo expositivo. (Baker, Gearhart & Herman, 1994). Finalmente, el interés de los docentes para trabajar con tecnología, su motivación y posibilidades de acceder a la misma y recibir capacitación al respecto resultan diferenciales en el uso que se hace de la tecnología en el aula (Bebell & Kay, 2010). Al respecto, Greaves, Hayes, Wilson et. Al. (2010) identifican nueve factores que, si están presentes, contribuyen a mayores niveles de desempeño en las escuelas en que los adoptaron. Los tres centrales son: garantizar la integración de tecnología de un modo uniforme en todas las aulas; proporcionar tiempo para el aprendizaje y colaboración entre docentes (al menos mensualmente); y utilizar la tecnología con una frecuencia diaria para que los alumnos puedan realizar actividades colaborativas online y aprendizaje cooperativo. De acuerdo con estos autores, los factores mencionados son coincidentes con aquellos identificados como predictores de escuelas efectivas y de distritos en general (Marzano, 2003 y Marzano, Pickering y Pollock, 2001), lo cual se refuerza la idea que no es la tecnología en sí misma la que produce mejoras, sino probablemente las prácticas pedagógicas que acompañan la incorporación de tecnología en las escuelas. II.e. Impacto en los aprendizajes de los alumnos Sin duda, uno de los objetivos básicos de los proyectos o programas de incorporación de TICs es mejorar los aprendizajes de los alumnos. Los proyectos priorizan distintos tipos de saberes que aprenden los alumnos. En este marco, se discute si lo central es indagar acerca de la mejora en el modo en que aprenden los alumnos al utilizar las TICs, o bien si logran mejores resultados en determinados contenidos que son trabajados en la escuela. Si bien se reconoce la existencia de resultados contradictorios entre las distintas investigaciones al respecto, o bien diseños metodológicos que dificultan la generalización, Sunkel (2010) identifica dos aspectos que son consistentes en la investigación sobre el tema. En primer lugar, el impacto obtenido en variables intermedias tales como la motivación y la concentración

en matemática y ciencias, y analiza la relación entre distintas prácticas pedagógicas y las competencias del siglo XXI (21st Century Skills”).

del alumno. En segundo lugar, el aprendizaje de destrezas de manejo funcional de las TICs. Los distintos saberes que son considerados por la literatura sobre el tema permiten diferenciar los cambios producidos en relación a: a) logros educativos en las áreas curriculares que se tradicionalmente se trabajan en la escuela, b) competencias asociadas a nuevos saberes transversales en relación con las TICs, c) microcompetencias o destrezas de manejo funcional) y d) cambios en la predisposición al aprendizaje de los alumnos. Por lo general, éste último es identificado como variable intermedia, pero dado la magnitud de las evidencias al respecto, se presenta de manera independiente.

a. Logros educativos en áreas curriculares La mayor parte de las evaluaciones realiza el análisis del impacto de las TICs en los aprendizajes a partir de las evaluaciones de logros educativos. En algunos casos, se realizan evaluaciones de logro académico de lápiz y papel, y en otros se busca indagar acerca del modo en que los alumnos mejoran su desempeño en cada área disciplinar en relación al uso de la computadora, por ejemplo, utilizando ejercicios de comprensión de textos a partir de la lectura online, o bien mediante la resolución de problemas utilizando la computadora. Algunas evidencias encontradas al respecto señalan que, en promedio, los alumnos que participan de un modelo de enseñanza con la computadora se ubican en el percentil 64 de evaluaciones estandarizadas, en comparación con los alumnos en el grupo de control sin computadoras que se ubica en el percentil 50 (Kulik, 1994). En otros casos, la evidencia muestra que los alumnos que se encuentran en espacios de aprendizaje con presencia de tecnología tienen efectos positivos en su rendimiento en todas las áreas evaluadas. (Jay Sivin-Kachala, 1998; Schacter, 1999). Sin embargo, las evidencias no son concluyentes en tanto el uso de computadoras no tuvo un efecto positivo en todas las áreas en que fue utilizada (Kulik, 1994). Por ejemplo, al realizarse evaluaciones estandarizadas de vocabulario, comprensión lectora y conceptos matemáticos, la evaluación del programa “Apple Classrooms of Tomorrow (ACOT)” demostró que los alumnos del programa no tuvieron un mejor desempeño respecto del grupo control o los promedios nacionales de escuelas sin acceso a la tecnología (Baker, Gearhart & Herman, 1994). Este reducido efecto en pruebas de logro educativo es presentado también en otros estudios (Shapley et al, 2009 y Lowther et. al., 2007). La explicación que dan distintos autores se le atribuye al tipo de pruebas que no mide “las competencias del siglo 21”, o bien se cuestiona el formato de las pruebas de lápiz y papel en grupos de alumnos acostumbrados a trabajar con computadoras, aunque otros autores (Cuban, 2001) lo asocian a la cantidad de alumnos por sección.14 14

De acuerdo con este autor, el desempeño de los alumnos no mejora significativamente hasta que las clases se reducen a 15 alumnos o menos, pero tampoco empeora demasiado hasta que aumenta la cantidad de 30 alumnos por sección.

15

La divergencia en los resultados asociados a logros educativos da cuenta de la necesidad de contar con otros dispositivos de medición del impacto de TICs, y a su vez, de la existencia de otras variables intermedias a considerar, tales como la estrategia de enseñanza utilizada (Funkhouser, 2002) y el tipo de uso15.

b. Competencias Los estudios que buscan el desarrollo de ciertas competencias, hablan de un conjunto de competencias del siglo XXI en el currículum que promuevan el desarrollo económico (National Research Council, 2003; Partnership for the 21st. Century, 2005). Consideran que el uso de las TICs requiere otro tipo de habilidades de orden superior vinculadas con un uso reflexivo y creativo de las herramientas, en donde entran en juego la alfabetización digital, la gestión de la información, la comunicación, el trabajo en grupos, la iniciativa (“entrepreneurship”), la conciencia global, el compromiso cívico y la resolución de problemas. De este modo, el logro educativo en TICs se entiende como un área de aprendizaje en sí mismo, asumiendo que hay ciertos saberes que van más allá de las áreas curriculares y que contienen una serie de competencias, que es posible transferir a otros contextos. Algunos de los saberes identificados más frecuentemente en los distintos proyectos de incorporación de TICs son en primer lugar los siguientes Modos de pensar: a) Creatividad e innovación; b) Pensamiento crítico; resolución de problemas, toma de decisiones; c) Aprender a aprender, metacognición. En segundo lugar, los Modo de trabajar: a)Comunicación; b) colaboración (trabajo en equipo). En tercer lugar, determinadas Herramientas para trabajar: a) alfabetización informativa (“information literacy”); b) alfabetización digital); y, en cuarto lugar, herramientas necesarias para Vivir en el Mundo: a) Ciudadanía – local y global; b) Vida y carrera profesional; c) Responsabilidad personal y social. (Partnership for the 21st. Century, 2005) Teniendo presente la necesidad de operacionalización de este constructo, resulta conveniente la definición de la alfabetización digital como la capacidad para utilizar la tecnología digital y las herramientas de comunicación y/o las redes para acceder, gestionar, integrar, evaluar, crear y comunicar información para poder desempeñarse en una sociedad de la información (California ICT Digital Literacy Assessments and Curriculum Framework).16 Esta definición

15

Wenglinsky (1998) encontró que los alumnos de 4º y 8º año que habían trabajado con tecnología habían logrado mejores desempeños en la prueba estandarizada de matemática (NAEP). Sin embargo, identificó que aquellos que habían utilizado la tecnología para ejercicios de baja demanda cognitiva (“drill and practice”) tenían un efecto negativo, a diferencia de quienes habían trabajado con la tecnología realizando simulaciones que encontraron un incremento significativo en sus resultados en matemática. Del mismo modo, Hierbert (1999) observó que cuando los alumnos reproducen y practican ejercicios sin haberlo comprendido profundamente les cuesta más entenderlo con posterioridad, aunque pueden aprender nuevos conceptos mientras resuelven problemas. A su vez, Papanastasiou, Zemblyas y Vrasidas (2003) identificaron que no es la utilización de la computadora la que produce efectos positivos o negativos en el desempeño de los alumnos, sino el modo en que se utilizan. 16

Esta definición es equivalente a la formulada por ETS: “ICT literacy is using digital technology,communications tools, and/or networks to access, manage, integrate, evaluate, and create information in order to function in a knowledge society”

identifica cinco componentes, que representan una variedad de contenidos y competencias de creciente complejidad cognitiva (ETS, 2002):

Acceder: saber acerca y saber cómo buscar y seleccionar información

Gestionar: utilizar un esquema organizacional o de clasificación existente

Integrar: interpretar y representar información. Supone la síntesis, comparación y contraste.

Evaluar: realizar juicios de valor acerca de la calidad, relevancia, utilidad y/o eficiencia de la información.

Crear: generar información a través de la adaptación, aplicación, diseño, invención o autoría de información.

El modo en que habitualmente se miden estas habilidades y competencias es mediante pruebas estandarizadas de aquellas competencias que quieran ser evaluadas, mediante la identificación como indicadores del porcentaje de alumnos que alcanzan niveles “Alto” y “Muy Alto” (Severin, 2010). Un ejemplo de los indicadores utilizados para medir prácticas de estudio permite ilustrar algunas de los aspectos anteriormente mencionados:

Prácticas de estudio BID 201017

Porcentaje de tiempo que los estudiantes, en promedio, dedican a tareas y trabajos educativos, sobre el total del tiempo de uso semanal que hacen de TICs

Tiempo promedio de uso educativo de las TICs (por género y nivel)

Porcentaje promedio semanal de tareas y trabajos escolares que son desarrollados con apoyo de TICs

Tiempo semanal de uso promedio que se hace de las TICs en trabajo fuera de la escuela según tipo de actividad, por parte de los estudiantes: a) buscar y seleccionar información b) desarrollar textos y documentos c) desarrollar recursos multimedia d) colaborar con pares e) publicar y comunicarse f) retroalimentar el trabajo

Proporción de los estudiantes que declara que las TIC son un apoyo a sus estudios escolares

Proporción de estudiantes usuarios del proyecto, que declara que sus clases son más interesantes desde que el profesor utiliza TICs para apoyar su quehacer; por área geográfica, tipo de colegio y ciclo de enseñanza

17

El listado de indicadores propuesto por el BID (Severin, 2010) considera los siguientes dominios: a) Infraestructura, b) Contenidos, c) Recursos Humanos, d) Gestión, y e) Políticas, en función de distintos grados de maduración: Emergencia, Aplicación, Integración y Transformación. Esta categorización de escenarios también está presente en el documento CETF ICT Digital Literacy Initiative – consensus Document- November, 2008 y fue extraída originalmente de Anderson, J, & Weert, T (2002). Information and communication technology in education. A curriculum for schools and programme of teacher development.

17

Otro modo de evaluarlas es el propuesto por el estudio internacional ICILS (Computer And Information Literacy Study)18, que mide un constructo identificado como alfabetización asociada al uso de la computadora y al manejo de información (“Computer and Information Literacy”). Es definido como la capacidad de los individuos de utilizar la computadora para investigar, crear y comunicarse, de modo de participar efectivamente en el hogar, la escuela, el lugar de trabajo y la comunidad. Este estudio contempla el desarrollo de itemes tradicionales (multiple choice o de producción) utilizando la computadora, así como también simulaciones en software de aplicaciones genéricas de la computadora (cortar y pegar texto, buscar cierta información en la web) y finalmente se introducen itemes en donde los alumnos deberán modificar y crear productos utilizando aplicaciones tales como wikis, blogs, entre otros. Por último, es posible también medir algunas de estas competencias mediante rúbricas especialmente construidas para tal fin, que permitan dar cuenta de quienes son los alumnos que utilizan la tecnología, el modo en que la misma es utilizada y el tipo de recursos utilizados para la enseñanza.19 La evidencia disponible muestra que el grado de apropiación de las TICs se encuentra asociado al capital o características de contexto, a una combinación de capital económico, cultural y social. Según algunos estudios, “…el uso del computador puede hacer una diferencia en el desempeño educativo si el estudiante está habilitado con las competencias, habilidades y actitudes correctas... (OECD, 2010: p.168).” Un ejemplo de esto es lo identificado por Wengslinky (1998) en su análisis de los resultados de matemática, en donde identifica que las diferencias en el uso de la tecnología están orientadas al tipo de tarea a realizar y al modo en que aplican habilidades de orden superior (i.e. análisis, evaluación, síntesis). (Claro, 2010) De este modo, para poder dar cuenta de la capacidad de los alumnos para comprender conceptos más complejos, analizar y sintetizar múltiples fuentes de información y construir representaciones de su propio conocimiento, es preciso desarrollar nuevos dispositivos de medición, que posibilite que los alumnos participen de contextos de aprendizaje colaborativos con tareas de mayor complejidad (Roschelle et.al., 2000; Means. et al., 1993).

c. Microcompetencias o destrezas de manejo funcional La alfabetización digital también es asociada con el aprendizaje de destrezas de manejo funcional de las TICs (Sunkel, 2010). Esta definición hace referencia fundamentalmente la capacidad de dominar las aplicaciones TICs más relevantes. Este componente ha sido el más desarrollado, fundamentalmente asociado a propósitos de certificación de los alumnos. Algunos de los más conocidos son

18

Este estudio se encuentra en desarrollo y tiene previsto ser administrado en el 2012 (prueba piloto) y 2013 (aplicación definitiva). Para mayor información: http://www.acer.edu.au/research/projects/the-international-computer-and-information-literacy-study-icils/ 19

Para mayores referencias: Intel & Rockman et al. (2007). “Full set of one to one evaluation toolkit”. ftp://download.intel.com/education/EvidenceOfImpact/EvaluationResourceDocuments/5_One_to_One_Computing_Evaluation_Toolkit/FullSet_of_One-to-One_Evaluation_Toolkit.pdf

la European Computer Driving License (ECDL)20, Internet and Computing Core Certification (IC)21, la Nets online technology assessment (ISTE- Microsoft)22, e incluso muchos colegios bilingües de nuestro país cuentan con el examen de Cambridge IGCSE ICT23. En este tipo de certificaciones se miden, fundamentalmente, destrezas tales como el uso del procesador de textos, la creacion de presentaciones, el uso buscadores en la Web, y la utilización de hojas de cálculo y e-mail. Además, este aspecto es el mayormente abordado por las capacitaciones docentes y el trabajo con los alumnos, orientando la “…formación relacionada con los usos básicos de alfabetización digital (es decir, aprender las TIC) y no como herramienta pedagógica (aprender para enseñar con las TIC).”24 En el ámbito de la investigación es común encontrar estudios sobre auto-percepción de destrezas o confianza en el uso de ciertas aplicaciones por parte de los estudiantes. Por ejemplo, a nivel internacional PISA pregunta a los estudiantes cuán bien pueden realizar ciertas tareas, las que agrupa como tareas relacionadas a Internet y tareas complejas o de ‘alto-nivel’. UNESCO también desarrolló una encuesta que pregunta a los estudiantes por su nivel de destrezas en diversas aplicaciones. (Claro, 2010). d) Cambios en la predisposición al aprendizaje de los alumnos Uno de los hallazgos más consistentes es el impacto de las TICs en variables intermedias como la motivación y la concentración del alumno. De acuerdo con Sunkel (2010), el impacto de las TIC se identifica en otras variables, las cuales estarían asociadas a las posibilidades dinámicas e interactivas para presentar conceptos que tienen las TIC (como utilizar animaciones, realizar simulaciones, etc.). La forma de abordar este tema en la investigación es variada. Algunos estudios preguntan directamente a estudiantes y profesores su opinión sobre los beneficios de usar las TICs en el colegio o directamente a los profesores si ven un efecto del uso de las TICs en la motivación de sus alumnos. Diversos estudios (Kulik, 2003; Empírica, 2006) han identificado que las computadoras tienen un efecto positivo en la motivación de los alumnos, así como en su actitud hacia la tecnología, la enseñanza o en los contenidos disciplinares. También se confirma en otros estudios (Bebell, 2005) que la incorporación de tecnologías contribuye a mejorar el compromiso de los alumnos, su motivación e incluso la interacción entre docentes y alumnos. Los 20 EUROPEAN COMPUTER DRIVING LICENSE (ECDL).

http://www.ecdl.org/programmes/index.jsp?p=102yn=108 21 Internet and Computing Core Certification (IC).

https://www.certiport.com/Portal/desktopdefault.aspx?page=common/pagelibrary/IC3_home.html 22 ISTE- Microsoft. Nets online technology assessment. http://www.iste.org 23 CAMBRIDGE INTERNATIONAL EXAMINATIONS. Cambridge IGCSE ICT.

http://www.cie.org.uk/qualifications/academic/middlesec/igcse/subject?assdef_id=969 24

Trucco, Daniela (2010). PRESENTACIÓN: INFORMES SOBRE LAS TIC EN EDUCACIÓN EN AMÉRICA LATINA Y EL CARIBE. En: EL IMPACTO DE LAS TIC EN LA EDUCACIÓN. Relatoría de la Conferencia Internacional de Brasilia, 26-29 abril 2010. Pp. 16. Disponible en: http://unesdoc.unesco.org/images/0019/001905/190555s.pdf.

19

alumnos manifiestan un mayor agrado y desarrollo de actitudes positivas cuando sus clases incluyen una propuesta con computadoras. (Kulik, 1994). Las actitudes de los alumnos hacia el aprendizaje mejoran, como así también su imagen personal cuando se utilizan computadoras en la enseñanza. (Jay Sivin-Kachala, 1998; Baker et.al., 1994) De este modo, la motivación se presenta como una variable de relevancia y está asociado con un mayor involucramiento y concentración en la clase, lo cual favorecería el aprendizaje (Becta, 2006; Blanksat, Blamire y Kefala, 2006; OECD, 2005; Trucano; 2005). Aún más, la experiencia de algunos programas de informática educativa ha mostrado que el aumento de la motivación de los estudiantes por el uso de las TIC en clases aumenta el nivel de asistencia al colegio (Borthwick & Lobo, 2005). También se indaga sobre el impacto en ciertas “habilidades o destrezas transversales”, tales como la comunicación, la colaboración, el aprendizaje autónomo y el trabajo en equipo. Hay evidencias acerca de una mayor colaboración entre alumnos a partir del trabajo en equipo (Ramboll Management, 2006), y un mayor análisis y reflexión a partir del involucramiento de parte del estudiante con la asignatura (Harrison et.al., 2002 en Claro, 2010). Del mismo modo, la evaluación realizada del proyecto Apple Classrooms of Tomorrow (ACOT) presenta evidencias acerca de experiencias de aprendizaje más ricas en habilidades cognitivas de orden superior y resolución de problemas, aunque los autores (Baker et.al., 1994) consideran que la evidencia recogida no es suficiente. Finalmente, en otros estudios se identifican efectos positivos en los alumnos con necesidades educativas especiales. Asimismo se identifican mejoras en las actitudes de los alumnos hacia el aprendizaje y en su concepción de sí mismos (“student self-concept”) (Software Information Industry Association, 2000)

La evidencia relevada es contundente en relación al impacto que tiene la incorporación de TICs en ciertas actitudes de los alumnos. Sin embargo, resta conocer de forma más precisa el modo en que esto puede ser utilizado para favorecer mejores aprendizajes por parte de los estudiantes. III. Conclusión Los distintos tipos de impacto descriptos a lo largo del capítulo no hacen sino explicitar la complejidad existente en la evaluación de programas de incorporación de TICs, reconociendo que la relación entre el uso de las mismas y la mejora en los aprendizajes no es lineal, y que depende de las condiciones institucionales y pedagógicas en que son desarrollados estos programas. De acuerdo a lo relevado, para poder dar cuenta del impacto que tienen las TICs en el aprendizaje de los alumnos sería necesario contemplar, al menos: a) el tipo de TICs que se utilizan, b) la frecuencia con que se utiliza; c) la complejidad cognitiva asociada al tipo de tarea y d) la utilidad que la tarea realizada representa en la vida cotidiana de los estudiantes.

Los resultados presentados muestran la complejidad de aislar el efecto de las TICs de aspectos vinculados al tipo de uso que se realiza y a los condicionantes asociados a las características específicas de los alumnos, el software que se utiliza, el rol del docente y el nivel de acceso de los alumnos a la tecnología (Jay Sivin-Kachala, 1998). En muchos casos, los resultados obtenidos dan cuenta del potencial que tiene la tecnología para contribuir a la mejora en la enseñanza y en los aprendizajes, aunque es preciso reconocer que la tecnología no permite por sí sola resolver todos los problemas que atraviesan a las escuelas y que las mayores desigualdades están asociadas no tanto al acceso o a la frecuencia en que se utiliza la tecnología, sino en los modos en que se utiliza (Wenglinsky, 1998). Tal como señalan algunos (Goodwin, 2011), los programas de incorporación de TICs parecieran amplificar lo que de por sí ocurre en el aula ya sea para bien o para mal. Roschelle, Pea, Hoadley, Gordin y Means (2000) identifican cuatro características fundamentales en que la tecnología puede mejorar la calidad de los aprendizajes en el aula: a) compromiso activo, b) participación en grupos, c) interacción frecuente y feedback, d) vinculación con el contexto real del mundo. También señalan que el uso de la tecnología es más efectivo para el aprendizaje cuando es acompañado de capacitación docente, reforma curricular, evaluación periódica de los alumnos y un marco institucional permeable a la innovación. De este modo, la incorporación de TICs puede contribuir al desarrollo de competencias, no sólo tecnológicas sino también pedagógicas y de gestión. En ese sentido, “…la investigación actual sobre iniciativas 1:1 se centra principalmente en el proceso de implementación y en si funciona o no, sin datos suficientes para mostrar cómo usan los estudiantes sus propios dispositivos. Se necesita más investigación para proporcionar una comprensión más profunda de las prácticas de aprendizaje en las aulas con 1:1 (Bebell, 2005; Roschelle, 2003). Lo que es aún más difícil es encontrar estudios que testen específicamente los vínculos entre los resultados hipotéticos para iniciativas 1:1 y las diferentes medidas de implementación (como la formación del profesorado) Se necesitan más estudios para examinar específicamente la relación entre el uso y las medidas de resultado. La inclusión de información sobre aspectos centrales del diseño y la implementación de iniciativas concretas y su relación con los logros haría que la investigación fuese considerablemente más útil para los diseñadores de políticas y los desarrolladores de programas.” (OCDE, 2010: 12-13). Pareciera existir entonces un consenso en que el alcance de los programas de incorporación de TICs trasciende las fronteras de la escuela, y en donde los impactos sociales presentan una incidencia que no es posible ignorar no sólo en el acceso a las TICs sino también las desigualdades en los usos que hacen los alumnos de la tecnología, producto de sus diferentes puntos de partida. En ese marco, resulta interesante cuestionar el tipo de diseños metodológicos con los que habitualmente se analizan estos programas. Las evaluaciones estandarizadas con referentes que remiten a los contenidos tradicionales parecieran ser insuficientes, en tanto de otros aspectos que los alumnos comienzan a desarrollar a partir de la introducción de las TICs: el modo en que

21

utilizan Internet para investigar, el modo en que aprenden a organizar su trabajo, como utilizan procesadores de texto para escribir, como aprenden a trabajar colaborativamente con otros. Por otra parte, el formato en que las mismas evaluaciones son realizadas (lápiz y papel) también es cuestionado por no representar el modo en que los alumnos trabajan en muchos casos. Así, se abre un espacio para la evaluación educativa de desarrollar diseños metodológicos que permitan capturar la complejidad de la innovación que suponen estos programas para la enseñanza y el aprendizaje. Referencias ANDERSON, J, y T. WEERT (2002). Information and communication technology in education. A curriculum for schools and programme of teacher development.

ANDREW, Jones (2004), A review of the research literature on barriers to the uptake of ICT by teachers.UK: Becta.

BAKER, E.L. GEARHART, M. y HERMAN, J.L.(1994). Evaluating the apple classrooms of tomorrow. In E.L. aker, and H.F. O´Neil Jr. (Eds.). Technology assessment in education and training. Hillsdale, NJ: Lawrence Erlbaum.

BEBELL, D., y KAY, R. (2010). One to one computing: A summary of the quantitative results from the Berkshire Wireless Learning Initiative. Journal of Technology, Learning, and Assessment, 9(2) http://escholarship.bc.edu/cgi/viewcontent.cgi?article=1222ycontext=jtla

BORTHWICK, Arlene y Irina LOBO (2005). Lessons from Costa Rica. Learning and Leading with Technology, 33(2), 18-21.

BRITISH EDUCATIONAL COMMUNICATIONS AND TECHNOLOGY AGENCY (BECTA) (2005), Becta Review. Evidence on the progress of ICT in education. http://publications.becta.org.uk/display.cfm?resID=25882.

BRITISH EDUCATIONAL COMMUNICATIONS AND TECHNOLOGY AGENCY (BECTA) (2006). The Becta Review 2006. Evidence on the progress of ICT in education http://dera.ioe.ac.uk/1427/1/becta_2006_bectareview_report.pdf

BRUNNER, José Joaquín (2008). ¿Una sociedad movilizada hacia las TIC?. Capítulo 4. En: Las TIC. Del aula a la agenda política. Ponencias del Seminario Internacional. Cómo las TIC transforman las escuelas, IIPE- Unesco / UNICEF, Buenos Aires. Pp. 52

CEPAL. (2010). Avances en el acceso y el uso de las Tecnologías de la Información y la Comunicación en América Latina y el Caribe 2008 – 2010. Colección Documentos de Proyecto. Chile. http://www.eclac.org/ddpe/publicaciones/xml/3/38923/W316.pdf

CETF ICT DIGITAL LITERACY INITIATIVE (2008). Consensus Document. California ICT Digital Literacy Assessments and Curriculum Framework. http://www.ictliteracy.info/rf.pdf/California%20ICT%20Assessments%20and%20Curriculum%20Framework.pdf

CHAPMAN, David y Lars. MALHCK (eds.), (2004), Adapting Technology for School Improvement: A Global Perspective, Paris: IIEP-UNESCO.

CISCO, INTEL Y MICROSOFT (2009) Transforming Education: Assessing and Teaching 21st Century Skills. (ATC21S) www.atc21s.org

CLARO, Magdalena (2010). Documento de proyecto: Impacto de las TIC en los aprendizajes de los estudiantes. Estado del arte. División de Desarrollo Social de la Comisión Económica para América Latina y el Caribe (CEPAL). Disponible en: http://www.eclac.org/publicaciones/xml/7/40947/dp-impacto-TICs-aprendizaje.pdf

CONDIE, Rae y Bob MUNRO (2007). The Impact of ICT in Schools: a landscape review. UK: Becta

COX, M. J., y M. E. WEBB (2004). ICT and pedagogy: A review of the research literature, Coventry and London, British Educational Communications and Technology Agency/Department for Education and Skills.

COX, Margaret y otros (2003), ICT and attainment: A review of the research literature ICT in Schools Research and Evaluation Series – No.17. DfES-Becta http://www.becta.org.uk/page_documents/research/ict_attainment_summary.pdf

CUBAN, Larry (2001). Oversold and Underused. Computers in the Classroom. Harvard University Press

EMMISON, Michael y John FROW (1998). Information Technology as Cultural Capital. AustralianUniversities Review, Issue 1/1998,pp.41-45.

ENLACES Y GOBIERNO DE CHILE (2006): “Estándares en Tecnología de la Información y la Comunicación para la Formación Inicial Docente”. Disponible en: http://www.oei.es/tic/Estandares.pdf

Estudio internacional ICILS (Computer and Information Literacy Study). http://www.acer.edu.au/research/projects/the-international-computer-and-information-literacy-study-icils/

ETS (2002). Digital Transformation A Framework for ICT Literacy. A Report of the International ICT Literacy Panel.

EUROPEAN SCHOOLNET (2005). Policy and Innovation in Education: ‘Leadership’, European Schoolnet 2005. http://insight.eun.org/ww/en/pub/insight/thematic_dossiers/leadership.htm

FUNKHOUSER, C. (2002). The effects of computer-augmented geometry instruction on student performance and attitudes. Journal of Research on Technology in Education, 35(2), 163–175.

GARRIDO MIRANDA, José, BEGOÑA GROS SALVAT y Jaime RODRÍGUEZ MÉNDEZ (2008). “Capítulo 1: Hacia un concepto de estándar TIC para la formación inicial de docentes”. Centro de Educación y Tecnología del Ministerio de Educación de Chile (ENLACES) en colaboración con UNESCO, Oficina Regional de Educación para América Latina y el Caribe (OREALC/UNESCO Santiago). Pp.31. Disponible en: http://www.citcentral.cl/textos/tic_para_fid.pdf

GOODWIN, Bryan (2011). One-to-One Laptop Programs Are No Silver Bullet. Educational Leadership. February 2011. Volume 68.Number 5 . Teaching Screenagers Pages 78-79 http://www.ascd.org/publications/educational_leadership/feb11/vol68/num05/One-to-One_Laptop_Programs_Are_No_Silver_Bullet.aspx

GREAVES, T., HAYES, J., WILSON, L., GIELNIAK, M., y PETERSON, E. (2010). Project RED key findings. Shelton, CT: MDR. Retrieved from One-to-One Institute at www.one-to-oneinstitute.org/NewsDetail.aspx?id=85

HU, W. (2007, May 4). Seeing no progress, some schools drop laptops. The New York Times, p. 1. www.nytimes.com/2007/05/04/education/04laptop.html

INTERNATIONAL ASSOCIATION FOR THE EVALUATION OF EDUCATIONAL ACHIEVEMENT(IEA) (2009). Second Information Technology in Education Study. SITES 2006 Technical Report. http://www.iea.nl/fileadmin/user_upload/Publications/Electronic_versions/SITES_2006_Technical_Report.pdf

23

KARSENTI, T., y COLLIN, S. (2011). Benefits and challenges of using laptops in primary and secondary school: An investigation at the Eastern Townships School Board. Summary of main results. Montreal, QC: CRIFPE.

KAZTMAN, Rubén (2010). Impacto social de la incorporación de las nuevas tecnologías de información y comunicación en el sistema educativo. Serie Políticas Sociales Nº166. División Desarrollo Social, CEPAL. Chile.

KIRKLAND, Kieron y Dan SUTCH (2009), Overcoming the barriers to educational innovation. A literature review. Futurelab (www.futurelab.org.uk).

KULIK, James. A (1994). Meta-Analytic Studies of Findings on Computer- Based instruction. En: E. Baker y H.O´Neil (Eds.). Technology assessment in education and training. New York, Lawrence Erlbaum Associates, Inc.

LAW, Nancy, Willem J. PELGRUM y Tjeerd PLOMP (eds.) (2008). Pedagogy and ICT Use in Schools around the World: Findings from the IEA SITES 2006

LLECE - LABORATORIO LATINOAMERICANO DE EVALUACIÓN DE LA CALIDAD DE LA EDUCACIÓN (2008). Los aprendizajes de los estudiantes de América Latina y el Caribe. Primer Reporte SERCE. Santiago de Chile: OREALC/UNESCO.

LOWTHER, D. L., STRAHL, J. D., INAN, F. A., y J. BATES (2007). Freedom to Learn program: Michigan 2005–2006 evaluation report. Memphis, TN: Center for Research in Educational Policy.

LUGO, María Teresa y Valeria KELLY (2011). “La matriz TIC. Una herramienta para planificar las Tecnologías de la Información y Comunicación en las instituciones educativas”. IIPE Unesco Buenos Aires. www.iipe-buenosaires.org.ar

MARTÍN, Elena (2008). El impacto de las TIC en el aprendizaje. Capítulo 5. En: Las TIC. Del aula a la agenda política. Ponencias del Seminario Internacional. Cómo las TIC transforman las escuelas, IIPE- Unesco / UNICEF, Buenos Aires. Pp.69-70

MARZANO, R. J. (2003). What works in schools: Translating research into action. Alexandria, VA: ASCD.

MARZANO, R. J., D. J. PICKERING y J. E. POLLOCK (2001). Classroom instruction that works: Research-based strategies for increasing student achievement. Alexandria, VA: ASCD.

MINISTERIO DE EDUCACIÓN DE LA CIUDAD DE BUENOS AIRES (2011). Proyecto de Evaluación Jurisdiccional del Segundo Ciclo de Nivel Primario. Informe de resultados 2010. Dirección de Evaluación Educativa. http://estatico.buenosaires.gov.ar/areas/educacion/evaluacioneducativa/evaluacioninformeresultados2010baja.pdf

NATIONAL RESEARCH COUNCIL (2003). Being fluent with information technology. Washington, D.C.: National Academy Press.

NOGUÉS, Romina y Nancy CAFA (2010). Marco Conceptual para la Construcción de Indicadores de Evaluación. Unidad de Investigación y Experimentación OEI / EDUC.AR. Presentación realizada en el Congreso Iberoamericano de Educación, realizado en Buenos Aires entre el 13 y 15 de septiembre 2010.

OECD (2005). Are students ready for a technology-rich world? What PISA studies tell us. Paris. OECD.

OECD (2010). Working Paper: 1-to-1 in Education: Current Practice, International Comparative Research Evidence and Policy Implications (EDU Working Paper no. 44). Instituto de Tecnologías Educativas, para edición en español. Pp.12-13

ORGANIZACIÓN DE ESTADOS IBEROAMERICANOS Y FUNDACIÓN TELEFÓNICA (2011). Integración de las TIC en la escuela. Indicadores cualitativos y metodología de investigación. http://www.oei.es/idie/IntegracionTIC.pdf

PAPANASTASIOU, Elena y FERDIG, Richard (2006), Computer Use and Mathematical Literacy: An Analysis of Existing and Potential Relationships. Journal of Computers in MathemaTICs and Science Teaching. 25 (4), pp. 361-371. Chesapeake, VA: AACE.

PARTNERSHIP FOR THE 21ST CENTURY. (2005). A report on the landscape of 21st century assessment. Washington, DC: Partnership for the 21st Century.

RAMBOLL MANAGEMENT (2006), E-learning Nordic 2006: Impact of ICT on Education, Denmark.

ROSCHELLE, J. M., R. D. PEA, C. M. HOADLEY, D. N. GORDIN, y B. M. MEANS (2000). Changing how and what children learn in school with computer-based technology. Children and Computer Technology, 10(2), 76–101. Retrieved April 9, 2002, from http://www.futureofchildren.org/pubs-info2825/pubs-info.htm?doc_id=69787.

SCHACTER, John (1999). The impact of educational technology on student achievement. What the most current research has to say. Milken Exchange on Education Technology. http://www.mff.org/pubs/ME161.pdf

SEO, Jeong-Hee (s/f). Presentación: “Monitoring and Assessment of ICT in Education in Korea. Assessment of ICT Levels in K-12 Schools”. International Cooperation y Research Center, KERIS http://info.worldbank.org/etools/docs/library/243132/day4Session%2014JeongHeeSeo.pdf

SEVERIN, Eugenio C. (2010). Tecnologías de La Información y La Comunicación (TICs) en Educación. Marco Conceptual e Indicadores. Banco Interamericano de Desarrollo. División de Educación (SCL/EDU). NOTAS TÉCNICAS # 6. http://idbdocs.iadb.org/wsdocs/getdocument.aspx?docnum=35128349

SHAPLEY, K., D. SHEEHAN, K. STURGES, F. CARANIKAS-WALKER, B. HUNTSBERGER y C. MALONEY (2009). Evaluation of the Texas Technology Immersion Pilot: Final outcomes for a four-year study (2004–05 to 2007–08). Austin: Texas Center for Educational Research.

SIVIN-KACHALA, J. (1998). Report on the effectiveness of technology in schools, 1990-1997. Washington, DC: Software Publisher's Association.

SOFTWARE INFORMATION INDUSTRY ASSOCIATION (2000). 2000 Research Report on the Effectiveness of Technology in Schools: Executive Summary. http://www.siia.net/estore/REF-00-summary.pdf

SUNKEL, Guillermo (2009). Presentación “Avances y desafíos en el desarrollo y uso de indicadores TIC en educación”. Río de Janeiro, abril 2009

SUNKEL, Guillermo (2010). Las TIC para la educación en América Latina. Presentación realizada en el Congreso Iberoamericano de Educación, realizado en Buenos Aires entre el 13 y 15 de septiembre 2010.

TRUCANO, Michael (2005). Knowledge Maps: ICT in Education.Washington, DC: Infodev/World Bank. http://www.infodev.org/en/Publication.8.html.

TRUCCO, Daniela (2010). Presentación: Informes sobre las TIC en Educación en América Latina y El Caribe. En: El Impacto de las TIC en la educación. Relatoría de la Conferencia Internacional de Brasilia, 26-29 abril 2010. http://unesdoc.unesco.org/images/0019/001905/190555s.pdf.

25

VASCELLARO, J. E. (2006). Saying no to school laptops. Wall Street Journal, p. D1. August 31

WAGNER, Daniel A., Bob DAY, Tina JAMES, Robert B. KOZMA, Jonathan MILLER y Tim UNWIN (2005). Monitoring and Evaluation of ICT in Education Projects: A Handbook for Developing Countries. Washington, DC: infoDev /World Bank. Available at: http://www.infodev.org/en/Publication.9.html

WENGLINSKY, Harold (1998), Does it compute? The relationship between educational technology and student achievement in mathemaTICs.