¿Van de la mano los indicadores bibliométricos y la revisión por pares en la evaluación de proyectos?

DESCARGAR Reviewers’ Ratings and Bibliometric Indicators: Hand in Hand When Assessing Over Research Proposals?

Acabamos de publicar en PLOS ONE un trabajo en el que analizamos hasta qué punto coinciden los indicadores bibliométricos con la revisión por pares en la evaluación de proyectos de investigación. A partir de los solicitantes de proyectos en la convocatoria del Plan Nacional de Investigación en el año 2007, se determina para cada una de las áreas el grado en que ambas cuestiones van parejas. Para ello hemos contado con las puntuaciones otorgadas por la ANEP a dichos proyectos así como con el listado de proyectos concedidos por el Ministerio, entonces de Ciencia (la ANEP sólo evalúa, el Ministerio concede los proyectos).

Explicación del proceso de evaluación de proyectos en el Plan Nacional 2007

Los resultados señalan en primer lugar que los proyectos se conceden a los solicitantes que han mostrado mejor rendimiento previo. En términos bibliométricos los solicitantes que reciben proyectos presentan datos de productividad e impacto que suelen duplicar los de los solicitantes denegados. Pese a algunas discrepancias, sólo explicables bajo criterios no científicos (prioridades políticas, áreas estratégicas, re-equilibrios territoriales o de género) el sistema cumple razonablemente bien su proposito. Interesante es también señalar que, entre los cinco parámetros evaluados, el principal factor que asegura la concesión de un proyecto de investigación es el cv del investigador principal.

A partir de estos datos y de diversos análisis estadísticos, proponemos el uso de indicadores bibliométricos como complemento al peer review, para evaluar el cv de los solicitantes, ya que, de facto, es lo que están haciendo los evaluadores. También analizamos, área por área, qué indicador bibliométrico (o combinación de ellos) influye más en la concesión del proyecto (producción vs impacto)

Este estudio es uno de los pocos, hasta el momento, que analizan el proceso de evaluación y concesión de proyectos en España. Con ello pretendemos contribuir al debate sobre la política científica en nuestro país.

RESUMEN

Background

The peer review system has been traditionally challenged due to its many limitations especially for allocating funding. Bibliometric indicators may well present themselves as a complement.

Objective

We analyze the relationship between peers’ ratings and bibliometric indicators for Spanish researchers in the 2007 National R&D Plan for 23 research fields.

Methods and Materials

We analyze peers’ ratings for 2333 applications. We also gathered principal investigators’ research output and impact and studied the differences between accepted and rejected applications. We used the Web of Science database and focused on the 2002-2006 period. First, we analyzed the distribution of granted and rejected proposals considering a given set of bibliometric indicators to test if there are significant differences. Then, we applied a multiple logistic regression analysis to determine if bibliometric indicators can explain by themselves the concession of grant proposals.

Results

63.4% of the applications were funded. Bibliometric indicators for accepted proposals showed a better previous performance than for those rejected; however the correlation between peer review and bibliometric indicators is very heterogeneous among most areas. The logistic regression analysis showed that the main bibliometric indicators that explain the granting of research proposals in most cases are the output (number of published articles) and the number of papers published in journals that belong to the first quartile ranking of the Journal Citations Report.

Discussion

Bibliometric indicators predict the concession of grant proposals at least as well as peer ratings. Social Sciences and Education are the only areas where no relation was found, although this may be due to the limitations of the Web of Science’s coverage. These findings encourage the use of bibliometric indicators as a complement to peer review in most of the analyzed areas.

------------------

Cabezas-Clavijo Á., Robinson-García N., Escabias M., Jiménez-Contreras E. (2013) Reviewers’ Ratings and Bibliometric Indicators: Hand in Hand When Assessing Over Research Proposals? PLoS ONE 8(6): e68258. doi:10.1371/journal.pone.0068258