Los sistemas nacionales de evaluación de publicaciones de Humanidades y Ciencias Sociales:
Juzgar la actividad científica con el todo y no con la parte
V Jornada de la Facultad de Letras sobre Calidad La evaluación de la producción científica en Artes, Humanidades, Ciencias Sociales y Jurídicas
Universidad del País Vasco, 15 de noviembre de 2012
Artículos en revistas
internacionales Artículos en
revistas nacionales
Libros
Congresos
En español
En inglés
CIENCIAS JURÍDICAS
Juristas
FILOLOGÍA
Filólogos
COMUNICACIÓN
Periodistas
Los criterios de evaluación para CSH son hoy mucho más
precisos Además existen más fuentes de información que aportan
indicadores para evaluar las publicaciones en CSH
…. pero se sigue priorizando WoS (y Scopus) como fuentes para la
evaluación
96 214
100
1526
0
200
400
600
800
1000
1200
1400
1600
1800
WOS ERIH SCOPUS NON COVERED (WOS/ ERIH/
SCOPUS)
Campo 10. Historia y Expresión Artística
Desarrollamos sistemas de evaluación de revistas y editoriales en CSH. Aportan una gran variedad de indicadores indirectos de calidad para revistas en CSH Están pensados para guiar, objetivar y simplificar el trabajo de los evaluadores, pero
también como apoyo a autores y editores Una de las líneas de trabajo de nuestra investigación básica es caracterizar la investigación
en CSH, ofreciendo evidencias científicas de los patrones de comunicación científica y proponiendo esquemas de evaluación que deberían llevar aparejados
Otros grupos europeos, latinoamericanos, asiáticos también desarrollan sistemas ad hoc: las limitaciones de las bases de datos internacionales son evidentes para todos.
Ejemplo: producción científica 2010. Historia cultural del conocimiento (CCHS/CSIC)
Con diversos indicadores
bien elaborados (y reproducibles)
Consultando distintas fuentes
nacionales e internacionales
Con indicadores
para todas las revistas, no
solo para una selección
Las evaluaciones basadas únicamente en datos de Wos o Scopus ofrecen un retrato muy
limitado de la realidad, especialmente para Humanidades y Ciencias Sociales
El libro es consustancial a la naturaleza de estas disciplinas
Publicar libros no es una opción caprichosa
La evaluación de las CSH no debe realizarse conforme a los patrones de comunicación de otras disciplinas
Es necesario dar el peso adecuado a los libros en los procesos de evaluación
Prestigio de la editorial
Editores Colecciones
Reseñas en revistas
Revisión por expertos de los
originales
Traducciones a otros idiomas
Trabajos de investigación
original
Difusión en bases de datos, catálogos, etc.
Citas
¿Cómo definirlo? ¿Qué editoriales son
consideradas ”prestigiosas”?
¿Cómo se puede objetivar este
indicador?
Encuesta a expertos Dirigida a especialistas (11.000) con un tramo de
investigación reconocido
Identificar indicadores de calidad relevantes para los investigadores
Identificar las editoriales españolas y extranjeras más “prestigiosas”
Conocer el proceso editorial (autores-editores)
3045 respuestas (27%) Área de conocimiento Total profesores consultados
Nº respuestas
Tasa de respuesta
Filología Eslava 7 5 71,43Didáctica de la Expresión Corporal 16 9 56,25Biblioteconomía y Documentación 92 41 44,57Arqueología 93 41 44,09Didáctica de la Matemática 43 18 41,86Historia de la Ciencia 70 29 41,43Antropología social 118 48 40,68Lingüística Indoeuropea 8 3 37,50Teoría e Historia de la Educación 174 64 36,78Didáctica de la Lengua y la Literatura 60 22 36,67Didáctica de las Ciencias Sociales 33 12 36,36Traducción e Interpretación 88 32 36,36Didáctica de la Expresión Plástica 17 6 35,29Derecho Internacional Público y Relaciones Internacionales 124 43 34,68Filología Griega 149 51 34,23Didáctica de la Expresión Musical 9 3 33,33Didáctica y organización escolar 165 55 33,33Filología Vasca 24 8 33,33Derecho Eclesiástico del Estado 71 23 32,39Filología Alemana 68 22 32,35Geografía Humana 157 50 31,85
1499
2452
1417
1370
2018
435
2314
1629
455
1188
974
1071
1891
2145
1949
872
264
1334
272
1479
1638
1567
914
0 500 1000 1500 2000 2500 3000
El sistema de evaluación de originales mediante revisores:
Comités de lectura especializados
Revisores externos
Información sobre del proceso de selección de originales
La especialización temática de la editorial:
Editorial especializada
Editorial con colecciones especializadas
Cantidad de publicaciones sobre la materia
El prestigio de la editorial:
Trayectoria continuada de la editorial
Reseñas positivas en las mejores revistas del área
Número de títulos y tirada de cada uno de ellos
Editor de relevancia en la colección o en la editorial
Coordinador de la obra
Consideración ante las agencias de evaluación
El sistema de difusión y distribución de la editorial:
Presencia en librerías especializadas nac./extr.
Presencia en bibliotecas especializadas nac./extr.
Presencia en bases de datos internacionales
Traducciones en distintos idiomas
Marketing editorial
Proyección internacional de la editorial
Que la editorial coedite
La calidad de las ediciones de la editorial:
Presentación formal
Estructura adecuada
Índices de autores, temas, onomásticos, etc.
Oferta en formato de libro electrónico
Indicador propuesto ocasionalmente En principio, poco adecuado para la dinámica de las CSH Faltan herramientas de medición de citas o son limitadas Estas limitaciones están siendo identificadas por los mismos
bibliómetras (Loet Leydesdorff i and Ulrike Felt, 2012) “Because English is the universal language of science at this time,
Thomson Reuters will focus on books that publish full text in English” (Testa, 2010)
SUBJECT AREA (February 2012) COVERAGE Social & Behavioral Sciences 34%Arts & Humanities 18%Physics/Chemistry 10%Engineering/Computing/Technology 14%Clinical Medicine 8%Life Sciences 10%Agriculture/Biology 6%
Book Citation Index Google Scholar
Cobertura amplia pero heterogénea Duplicados
¿Cómo calcularlo?
Indicador de Calidad según Expertos (ICEE)
▪ Número de “votos” total para cada editorial
▪ Número de votos en 1ª, 2ª y 3ª posición
▪ Peso específico para cada editorial en función de ambas informaciones
Los especialistas señalaron
450 editoriales españolas
Más de 700 editoriales extranjeras
http://epuc.cchs.csic.es/SPI
http://epuc.cchs.csic.es/SPI
• Factor tiempo • Priorización de fuentes que no
son adecuadas para CSH • Uso inadecuado de los
indicadores de calidad • Aplicación automática de los
indicadores • Cada herramienta de
evaluación tiene sus propios objetivos. Los resultados no son comparables
• Cada agencia e institución utiliza sus propios criterios de evaluación
EVALUADORES
• No hay consensos en la defensa de un modelo de evaluación
• Son frecuentes las posturas nihilistas. Rechazo a cualquier modo de evaluación.
• Proliferan las nuevas revistas.
• Cada herramienta de evaluación tiene sus propios objetivos. Los resultados no son comparables
INVESTIGADORES
• Demasiadas herramientas de evaluación que confunden a autores, evaluadores y editores
• También tenemos nuestras “escuelas de pensamiento”
• Financiación /Sostenibilidad
• Comparabilidad en el ámbito internacional
INVESTIGADORES
BIBLIÓMETRAS
Cambiar los modos de comunicación consustanciales a las CSH. No debemos renunciar a publicar para nuestros lectores naturales, a la diversidad lingüística y temática. Es necesario buscar el equilibrio en las publicaciones.
Que se infravaloren buenas revistas … no incluidas en WoS. Inversión millonaria (4,5 millones de euros) en bases de datos que se
solapan Que desaparezcan los sistemas de evaluación de revistas de ámbito
nacional –desarrollados por grupos independientes- por falta de recursos Que no consensuemos y defendamos mínimamente un modelo de
evaluación Que los editores “vendan” sus revistas a los grandes grupos editoriales Confundir diferencias con excepcionalidad Obviar la exigencia creciente en evaluación Frenar la proyección y el potencial de nuestra investigación
Inclusión de criterios específicos para CSH en las agencias de evaluación
Protección del capítulo SSH en el Horizon 2020 Open Letter to the European Commissioner for Research and
Innovation: http://www.eash.eu/openletter2011/ Retractación del gobierno australiano (RAE) Manifiestos. Ej. Journals under threat, Colegio de México,
Filología Románica, etc. The cost of knowledge: http://thecostofknowledge.com/