Lluís Codina (UPF)
Jornada sobre Calidad de Revistas en Ciencias Sociales (CRECS 2011) Barcelona, Mayo 2011
Propuesta de buenas prácticas en evaluación de artículos
(peer review)
Estructura
Dos proposiciones y sus corolariosPropuestas a partir de los anterioresTemas abiertos
Mayo 2011L. Codina - CRECS 2011
Primera parte
Proposiciones
Mayo 2011L. Codina - CRECS 2011
Primera proposición
La literatura científica tiene géneros y modalidades Corolario general: es posible establecer una lista
(aunque sea orientativa) de géneros y modalidades Corolario para las publicaciones 1: las revistas pueden
declarar formalmente qué géneros y modalidades admiten
Corolario para las publicaciones 2: las revistas pueden declarar formalmente cuáles se someten peer review
Mayo 2011L. Codina - CRECS 2011
Ejemplo 1
Por simple triangulación (artículos, proyectos y bibliografía sobre investigación científica) podemos obtener al menos estos géneros:
Estados de la cuestión (state of art) Desarrollos experimentales Modelos conceptuales Estudios de caso Desarrollos y propuestas metodológicas
Mayo 2011L. Codina - CRECS 2011
Ejemplo 2
Por el mismo procedimiento podemos obtener, al menos, estas clases de investigaciones: Cuantitativas Cualitativas Exploratorias Explicativas
Mayo 2011L. Codina - CRECS 2011
Ejemplo 3
Por tipo de artículos admitidos a revisión por las revistas de mayor prestigio en ciencias podemos obtener estas modalidades de dos ejemplos ilustres: Science:
Research articles Reports Brevia Reviews Technical comments
Nature: Article Letter Reviews and Perspectives Analysis Hypothesis
Mayo 2011L. Codina - CRECS 2011
Segunda proposición
El género y/o la modalidad del artículo debe formar parte de la evaluación Corolarios para los evaluadores
C1 (en negativo) No exigir elementos ajenos al género. Corolario previo: debe conocer los géneros o modalidades.
C2 (en positivo): Debe evaluar la presencia/ausencia y su adecuación de los elementos correspondientes al género
C3 (en síntesis): Intentar evaluar el artículo «tal como es». No proponer un artículo nuevo o de un género distinto
Mayo 2011L. Codina - CRECS 2011
Segunda parte
Propuestas logísticas
Mayo 2011L. Codina - CRECS 2011
Revista
Elaborar una lista de géneros admitidos y/o preferidos
Redactar una descripción de las características generales deseables de cada género. Indicar: Qué géneros se someten a evaluación tipo peer review
(además de la revisión editorial) Qué géneros (sin perjuicio del peer review) pueden ser
solicitados directamente por los editores Qué géneros son los más habituales o preferidos por la revista,
si es el caso Instrucciones específicas para los autores Instrucciones específicas para los evaluadores
En síntesis: promocionar un sistema de evaluación riguroso, transparente, explícito y bien fundamentado
Eventualmente: facilitar formularios de evaluación para los referees que fomente una revisión articulada
Mayo 2011L. Codina - CRECS 2011
Evaluador
Familiarizarse con: Los géneros y modalidades antes de evaluar Las recomendaciones de la revista para evaluar
Hacer recomendaciones atómicasPresentar las recomendaciones enumeradas
(R1, R2, … Rn)
Mayo 2011L. Codina - CRECS 2011
Autor
Informar de los cambios, en su caso, siguiendo el mapa de les recomendaciones: Qué se acepta y cómo se ha hecho la adaptación,
identificando siempre cada recomendación por su número (R1, R2, … Rn)
Qué no se acepta y porqué identificándolas también por su número
Mayo 2011L. Codina - CRECS 2011
Evaluador - II
Revisar la correspondencia del mapa de recomendaciones/adaptaciones: ¿todas las recomendaciones R1,… Rn han recibido respuesta?
Ser consistente: no ignorar sus propias recomendaciones, pero no improvisar nuevos criterios, salvo situación imperiosa
Mayo 2011L. Codina - CRECS 2011
Tercera Parte
Propuestas éticas
Mayo 2011L. Codina - CRECS 2011
Evaluador
Declinar si no se es un experto en el tema central del artículo (remember: “peer review”)
Advertir a la publicación de cualquier limitación que pudiera tener en la evaluación (p.e. aspectos muy especializados, tratamiento de datos, etc.)
No mantener en el mismo nivel de recomendación opiniones y certezas; o distinguir entre la fortaleza de las recomendaciones
Mantener el anonimato, si así se ha establecidoInformar a la revista si hay conflicto de interesesNo apropiarse de ideas de los autores
Mayo 2011L. Codina - CRECS 2011
Autor
Aceptar la necesidad de un nuevo ciclo de trabajo, si las evaluaciones lo demuestran
Pero, no aceptar los cambios en los que no crea si los puede defender de forma científica o racional
Ser transparente en todo el procesoNo citar sin utilizarNo utilizar sin citar
Mayo 2011L. Codina - CRECS 2011
Publicación
Asegurarse de hacer llegar las instrucciones y guías de revisión a los evaluadores
Aplicar de forma rigurosa los principios de la modalidad de peer review a la que se haya adherido la publicación
No adoptar un papel pasivo: No aceptar evaluaciones difamatorias o contrarias a la ética
científica (p.e. argumentos ad homine, etc.) Atender las reclamaciones fundadas de autores por
irregularidades de la evaluación Atender declaraciones de conflicto de intereses por parte de
autores y evaluadores y especificar tales posibilidades en las instrucciones
Advertir sin ambigüedad a los autores cuando el proceso ha finalizado
Respetar el carácter confidencial de todo el proceso si así se ha establecido
Mayo 2011L. Codina - CRECS 2011
Algunos temas (todavía) abiertos
Sistema de evaluación: ¿debe ser «doble ciego»?Proceso pre-print: ¿pueden hacerse públicas las
observaciones de los evaluadores y las respuestas de los autores?
Versión en línea: ¿pueden contemplarse versiones de artículos con edición impresa y en línea diferentes?
Innovación: ¿hay espacio para la innovación sin recurrir a la edición en línea?
Futuro: ¿tendrán sentido las publicaciones impresas a medio plazo?
Mayo 2011L. Codina - CRECS 2011
Fuentes
COPEwww.publicationethics.org/
Current Practice in Peer Reviewwww.alpsp.org/ngen_public/article.asp?id=200&did=47&aid=354&st=&oaid=-1
Nature Formatting Guidehttp://www.nature.com/nature/authors/gta/
Nature Peer Review Policyhttp://www.nature.com/authors/policies/peer_review.html
Peer Review and Manuscript Management in Scientific Journals: Guidelines for Good Practicehttp://onlinelibrary.wiley.com/book/10.1002/9780470750803
Peer Review at Science Publicationshttp://www.sciencemag.org/site/feature/contribinfo/review.xhtml
Peer Review: a Guide for Researcherswww.rin.ac.uk/peer-review-guide
Peer review: a report to the Advisory Board for the Researchwww.mrc.ac.uk/Utilities/Documentrecord/index.htm?d=MRC003951
Peer review: the challenges for the humanities and the social scienceswww.britac.ac.uk/reports/peer-review/
Research Information Networkhttp://www.rin.ac.uk/
Science's Instructions for Reviewershttp://www.sciencemag.org/site/feature/contribinfo/refinstr.xhtml
Mayo 2011L. Codina - CRECS 2011
Más información
Mapa conceptual y recursos sobre Ciencia 2.0tinyurl.com/cienciamapa
Otros diagramas y mapas conceptuales del autorwww.lluiscodina.com/diagramas.htm
Mayo 2011L. Codina - CRECS 2011