Mostrando entradas con la etiqueta Peer Review. Mostrar todas las entradas
Mostrando entradas con la etiqueta Peer Review. Mostrar todas las entradas

viernes, julio 05, 2013

¿Van de la mano los indicadores bibliométricos y la revisión por pares en la evaluación de proyectos?


DESCARGAR Reviewers’ Ratings and Bibliometric Indicators: Hand in Hand When Assessing Over Research Proposals?


Acabamos de publicar en PLOS ONE un trabajo en el que analizamos hasta qué punto coinciden los indicadores bibliométricos con la revisión por pares en la evaluación de proyectos de investigación. A partir de los solicitantes de proyectos en la convocatoria del Plan Nacional de Investigación en el año 2007, se determina para cada una de las áreas el grado en que ambas cuestiones van parejas. Para ello hemos contado con las puntuaciones otorgadas por la ANEP a dichos proyectos así como con el listado de proyectos concedidos por el Ministerio, entonces de Ciencia (la ANEP sólo evalúa, el Ministerio concede los proyectos).

Explicación del proceso de evaluación de proyectos en el Plan Nacional 2007

Los resultados señalan en primer lugar que los proyectos se conceden a los solicitantes que han mostrado mejor rendimiento previo. En términos bibliométricos los solicitantes que reciben proyectos presentan datos de productividad e impacto que suelen duplicar los de los solicitantes denegados. Pese a algunas discrepancias, sólo explicables bajo criterios no científicos (prioridades políticas, áreas estratégicas, re-equilibrios territoriales o de género) el sistema cumple razonablemente bien su proposito. Interesante es también señalar que, entre los cinco parámetros evaluados, el principal factor que asegura la concesión de un proyecto de investigación es el cv del investigador principal.

A partir de estos datos y de diversos análisis estadísticos, proponemos el uso de indicadores bibliométricos como complemento al peer review, para evaluar el cv de los solicitantes, ya que, de facto, es lo que están haciendo los evaluadores. También analizamos, área por área, qué indicador bibliométrico (o combinación de ellos) influye más en la concesión del proyecto (producción vs impacto)

Este estudio es uno de los pocos, hasta el momento, que analizan el proceso de evaluación y concesión de proyectos en España. Con ello pretendemos contribuir al debate sobre la política científica en nuestro país.

RESUMEN

Background

The peer review system has been traditionally challenged due to its many limitations especially for allocating funding. Bibliometric indicators may well present themselves as a complement.

Objective

We analyze the relationship between peers’ ratings and bibliometric indicators for Spanish researchers in the 2007 National R&D Plan for 23 research fields.

Methods and Materials

We analyze peers’ ratings for 2333 applications. We also gathered principal investigators’ research output and impact and studied the differences between accepted and rejected applications. We used the Web of Science database and focused on the 2002-2006 period. First, we analyzed the distribution of granted and rejected proposals considering a given set of bibliometric indicators to test if there are significant differences. Then, we applied a multiple logistic regression analysis to determine if bibliometric indicators can explain by themselves the concession of grant proposals.

Results


63.4% of the applications were funded. Bibliometric indicators for accepted proposals showed a better previous performance than for those rejected; however the correlation between peer review and bibliometric indicators is very heterogeneous among most areas. The logistic regression analysis showed that the main bibliometric indicators that explain the granting of research proposals in most cases are the output (number of published articles) and the number of papers published in journals that belong to the first quartile ranking of the Journal Citations Report.

Discussion

Bibliometric indicators predict the concession of grant proposals at least as well as peer ratings. Social Sciences and Education are the only areas where no relation was found, although this may be due to the limitations of the Web of Science’s coverage. These findings encourage the use of bibliometric indicators as a complement to peer review in most of the analyzed areas.

------------------

Cabezas-Clavijo Á., Robinson-García N., Escabias M., Jiménez-Contreras E. (2013) Reviewers’ Ratings and Bibliometric Indicators: Hand in Hand When Assessing Over Research Proposals? PLoS ONE 8(6): e68258. doi:10.1371/journal.pone.0068258

miércoles, marzo 13, 2013

Descubriendo al autor: Consejos para la identificación de los autores en las revisiones ciegas



El sistema de ciego simple y doble ciego en las revistas científicas tiene sus seguidores y detractores, (hay quien propone,  el triple, cuádruple y séxtuple ciego ). No es el objeto de este post hablar de las bondades del sistema, sino todo lo contrario. El objetivo de este post es "hacer que los ciegos vean" (Jn 9:39). No obstante este texto también está dirigido a los autores que deben aprender a mantenerse en el anonimato y editores de revistas que deben velar por el anonimato de los trabajos en revisión.

Un buen científico debería poder identificar a los autores de los trabajos de su área, especialmente los trabajos de sus compatriotas, o al menos acotar suficientemente el número  de «sospechosos». Esto por supuesto tiene sus limitaciones, es muy difícil identificar a los nuevos investigadores del sistema o a los investigadores que cambian de línea de investigación. A veces las identificaciones son erróneas, puesto que se identifican a los maestros y compañeros de los autores, que tienen líneas de investigación y grupos sociales académicos similares. Podemos decir que uno de los objetivos inherentes a toda revisión ciega es la identificación del autor, para ello el trabajo se convierte en un tablero de "cluedo" y el investigador debe ir descubriendo las pistas, ponerlas en contexto y descubrir a Mr. X.

Como documentalista, tengo mis "trucos" especializados por influencia del área. Mientras que unos leen el futuro en los posos del té y del café, los documentalistas estamos especializados en descifrar los misterios de la ciencia en los «posos» de los artículos; las referencias bibliográficas. Las referencias son para el científico lo mismo que los análisis de sangre para los médicos, unos indicadores excelentes que nos hablan de la salud y las enfermedades de un trabajo, incluso aplicando ingeniería podemos averiguar parte, si no entero, del ADN del padre de la criatura. No obstante también utilizamos otros métodos. Ahí van una lista de lugares donde encontrar pistas:

Archivo:
  • A veces el archivo de revisión del trabajo lleva incluido el nombre del autor del mismo. Pinchamos sobre le documento antes de abrirlo, botón derecho, propiedades y ahí saldría. Esto es obra de un autor torpón y una revisión editorial descuidada.


Título:
  • El título en teoría suele representar más al trabajo que al autor, no obstante con frecuencia nos encontramos trabajos que son continuaciones de trabajos previos o aplicaciones de una misma metodología a otras áreas.


Introducción:
  • La introducción es uno de los campos más subjetivos, el estilo y la redacción del autor es "más libre" en este apartado. A veces los autores se permiten licencias poéticas, y como decía Ricardo Darín en "El secreto de sus ojos" aunque una persona cambie de cara e identidad, lo que nunca cambian son sus pasiones, y la introducción es un buen área para expresarse.


Material y Métodos:
  • El autor debe comprobar quienes han utilizado antes la misma fuente de información, eso le permite acotar mucho la búsqueda, sobre todo si es una fuente de información poco común. Si la muestra se ha usado previamente podemos suponer que fueron los mismos autores tratando de aprovechar esfuerzos y energías. El método también es clave, dependiendo de la complejidad y originalidad del mismo podremos acotar mucho o poco a los sospechosos. Por ejemplo, yo utilizo el Análisis de Redes Sociales para estudiar la estructura social a partir de los tribunales de tesis, y al igual que yo sólo 7 personas más, entre ellos 3 investigadores de mi grupo. 


Análisis y Resultados:
  • En el capítulo análisis y resultados (como en el resto) vemos la capacidad de análisis de los autores, por tanto podemos entrever su madurez científica y discernir a qué grupo pertenece (investigadores profesionales y amateurs). Por otra parte la creatividad de los autores tiene reflejo en la metodología (pocas veces) y en el análisis y resultados. En la ejecución de las figuras y tablas, podemos identificar estilos pictóricos; por eso (entre otros motivos) en comunicación científica se recomienda estilos sobrios y planos. 


Discusión y Conclusiones:
  • Muchos autores se autocitan en las conclusiones, puesto que sus trabajos suelen ser continuaciones de investigaciones previas y conocen sus resultados y las implicaciones de estos perfectamente. La discusión y conclusiones además nos permite descartar autores, todos aquellos autores con los que en la introducción y en este apartado los autores se muestren disconformes...
  • Por otra parte, en áreas de Ciencias Sociales y Humanidades es común que los autores reflejen en este apartado opiniones propias, en muchos casos alejadas de las opiniones comunes. Como decía Umberto Eco; la belleza tiene formas limitadas, en cambio la fealdad, el error es ilimitado, por lo que es más fácil identificar a alguien que se confunde o se separa de los cánones normales donde todos coinciden.


Bibliografía:
  • Citación nacional vs internacional. Nos da una idea de en qué ámbito se mueven los autores. Incluso podemos saber a qué país pertenecen.
  • Citación excesiva a libros. Dependiendo de la temática del trabajo podemos pensar que el autor  es amateur, nacional, un doctorando, etc.
  • Citación a un pre-print. Si un autor cita un pre-print no publicado es evidente que es su autor.
  • Citación excesiva a un autor. Cuando Mr X cita excesivamente a un autor las sospechas aumentan, sobre todo cuando los trabajos no se relacionan directamente con el artículo presentado. 
  • Citación a materiales raros. Cuando se citan materiales poco comunes, tesis, congresos, descriptores de asignaturas deberíamos sospechar el porqué de esta práctica. Si encima los materiales no están disponibles en internet o citados en Google Scholar es muy probable que el autor de estos sea el autor de la obra. Un golpe de tuerca sería además buscar si estos materiales han sido citados previamente.
  • Citación excesiva a una revista (especialmente los dos últimos años). Deberíamos ver quién es el editor de la revista o quién del staff publica sobre este tema.
  • En general, si se tienen sospechosos podemos comprobar sus parámetros de citación en busca de similitudes. Como dice Emilio Delgado en relación a la ciencia "Somos lo que comemos".


Cómo descartar
  • Descartar a los autores con los que se muestre disconformidad.
  • Descartar a los popes de la disciplina que no son citados. Muchas veces este hecho viene dado por enemistades, lo que nos da una pista más de Mr. X.

En fin, probablemente se me habrá olvidado algún consejo más (tengo esa sensación). Espero que el lector ahora sepa identificar mejor a los autores y camuflar mejor su identidad. Si a alguien se le ocurre algún consejo más, le animo a incluirlo en los comentarios del post. 

jueves, enero 24, 2008

Revisión por expertos a través de un blog

Me entero por Transforming Scholarly Communication de una interesante iniciativa, de nuevo en el ámbito de los blogs científicos y relacionada con la revisión por expertos: An Experiment in Blog-Based Peer Review. Es bien sencilla; Noah Wardrip-Fruin’s participa en un blog colectivo llamado Grand Text Auto y además dentro de poco publicará un libro en MIT Press. En vez de someterlo a revisión tradicional él y su editor han decidido que sean los lectores de su blog, o sea los potenciales lectores del libro, los que hagan de revisores. Diariamente cuelga partes del libro que son posteriormente comentadas. A mi recuerda un poco al experimento de Nature Peer Review Trial, aunque creo que éste tendrá más éxito por estar mejor enfocado ya que se dirige a una comunidad bloguers, familiarizada con este tipo de comunicación y familiarizados todos entre ellos.

El post original: Expressive Processing: An Experiment in Blog-Based Peer Review

domingo, diciembre 09, 2007

Ejemplos de la incorporación de los blogs por parte de las revistas científicas

Respondiendo a Álvaro Roldán, la incoporación de los blogs por parte de las revistas se está produciendo de dos formas:

- Creando blogs como un apéndice de la revista
- Integrando la actitud 2.0. en la propia revista

La primera de las fórmulas es sin duda la más popular y las revistas más importantes ya han incorporado blogs dentro de su paquete de contenidos, ahí están Nature.com blogs, PloS blog. Son comunidades de blogs a cargo de expertos donde se alojan contenidos relacionados con las revistas como un servicio más a sus lectores, buscando en cierta en medida la fidelización de este último con el producto. En otros casos como en Sciam Observations de la revista Scientific American o BMJ editor´s at large lo que se busca es un interacción directa de los editores con sus lectores. Otros usos más cercanos es el de la Zona de Notas de EPI donde se presenta noticias relacionadas con la propia revistas (contenidos, información autores, etc...). En definitiva las revistas lo que hacen es emplear los blogs en un sentido tradicional para múltiples propósitos.

Sin embargo la verdadera vanguardia se produce con la integración en la propia revista de la esencia 2.0 de un modo casi natural. En este sentido Baiget nos dejó el otro día en Documenea la noticia PLoS One, una revista blog que es un magnífico ejemplo. PloS One concibe los artículos como sin fueran entradas de blog, los lectores tienen oportunidad directa de comentar los trabajos minutos después de su publicación generándose discusiones [no demasiado fértiles por lo que he podido comprobar]. La frontera es aún más difusa porque además incorporan Trackbacks, por lo que se puede conocer la reacción de la blogosfera al trabajo.

Otro ejemplo de este tipo de aplicaciones lo encontramos en Atmospheric Chemistry and Physics, esta revista ofrece la llamada Interactive Discusión, una especie de Peer Review abierto y transparente. Son solo ejemplos como decía Álvaro Roldán del proceso lento de implementación tecnológica [e ideológica] pero que nos acercan a un nuevo tipo de comunicación científica.

martes, noviembre 13, 2007

BPR3: un ejemplo

Hace unas semanas informé sobre el proyecto BPR3. Bloggers for Peer-Reviewed Reporting; se trataba [básicamente] de poner un icono que identificara post basados o que hablen de investigación sometida a Peer Review. Hoy me encuentro por primera vez el icono en un post:

Just What Happened 99 Years Ago in Tunguska, Siberia? del blog Living The Scientific Live.

En este caso el autor simplemente presenta y comenta un trabajo publicado en una revista:

L. Gasperini, F. Alvisi, G. Biasini, E. Bonatti, G. Longo, M. Pipan, M. Ravaioli and R. Serra. A possible impact crater for the 1908 Tunguska Event. Terra Nova 19(4):245-251