¿Van de la mano los indicadores bibliométricos y la revisión por pares en la evaluación de proyectos?

DESCARGAR Reviewers’ Ratings and Bibliometric Indicators: Hand in Hand When Assessing Over Research Proposals?

Acabamos de publicar en PLOS ONE un trabajo en el que analizamos hasta qué punto coinciden los indicadores bibliométricos con la revisión por pares en la evaluación de proyectos de investigación. A partir de los solicitantes de proyectos en la convocatoria del Plan Nacional de Investigación en el año 2007, se determina para cada una de las áreas el grado en que ambas cuestiones van parejas. Para ello hemos contado con las puntuaciones otorgadas por la ANEP a dichos proyectos así como con el listado de proyectos concedidos por el Ministerio, entonces de Ciencia (la ANEP sólo evalúa, el Ministerio concede los proyectos).

Explicación del proceso de evaluación de proyectos en el Plan Nacional 2007

Los resultados señalan en primer lugar que los proyectos se conceden a los solicitantes que han mostrado mejor rendimiento previo. En términos bibliométricos los solicitantes que reciben proyectos presentan datos de productividad e impacto que suelen duplicar los de los solicitantes denegados. Pese a algunas discrepancias, sólo explicables bajo criterios no científicos (prioridades políticas, áreas estratégicas, re-equilibrios territoriales o de género) el sistema cumple razonablemente bien su proposito. Interesante es también señalar que, entre los cinco parámetros evaluados, el principal factor que asegura la concesión de un proyecto de investigación es el cv del investigador principal.

A partir de estos datos y de diversos análisis estadísticos, proponemos el uso de indicadores bibliométricos como complemento al peer review, para evaluar el cv de los solicitantes, ya que, de facto, es lo que están haciendo los evaluadores. También analizamos, área por área, qué indicador bibliométrico (o combinación de ellos) influye más en la concesión del proyecto (producción vs impacto)

Este estudio es uno de los pocos, hasta el momento, que analizan el proceso de evaluación y concesión de proyectos en España. Con ello pretendemos contribuir al debate sobre la política científica en nuestro país.

RESUMEN

Background

The peer review system has been traditionally challenged due to its many limitations especially for allocating funding. Bibliometric indicators may well present themselves as a complement.

Objective

We analyze the relationship between peers’ ratings and bibliometric indicators for Spanish researchers in the 2007 National R&D Plan for 23 research fields.

Methods and Materials

We analyze peers’ ratings for 2333 applications. We also gathered principal investigators’ research output and impact and studied the differences between accepted and rejected applications. We used the Web of Science database and focused on the 2002-2006 period. First, we analyzed the distribution of granted and rejected proposals considering a given set of bibliometric indicators to test if there are significant differences. Then, we applied a multiple logistic regression analysis to determine if bibliometric indicators can explain by themselves the concession of grant proposals.

Results

63.4% of the applications were funded. Bibliometric indicators for accepted proposals showed a better previous performance than for those rejected; however the correlation between peer review and bibliometric indicators is very heterogeneous among most areas. The logistic regression analysis showed that the main bibliometric indicators that explain the granting of research proposals in most cases are the output (number of published articles) and the number of papers published in journals that belong to the first quartile ranking of the Journal Citations Report.

Discussion

Bibliometric indicators predict the concession of grant proposals at least as well as peer ratings. Social Sciences and Education are the only areas where no relation was found, although this may be due to the limitations of the Web of Science’s coverage. These findings encourage the use of bibliometric indicators as a complement to peer review in most of the analyzed areas.

------------------

Cabezas-Clavijo Á., Robinson-García N., Escabias M., Jiménez-Contreras E. (2013) Reviewers’ Ratings and Bibliometric Indicators: Hand in Hand When Assessing Over Research Proposals? PLoS ONE 8(6): e68258. doi:10.1371/journal.pone.0068258

Ponencia en el Foro IE. Investigación y Educación superior en Enfermería

Os dejo aquí el último taller que hemos impartido en el Foro Internacional Investigación y Educación Superior en Enfermería celebrado en Granada los días 14-17 de Noviembre.

Comunicación y Difusión de la Ciencia a través de la Web 2.0 from Repi Kash

Esta ponencia es uno de los clásicos temas tratados en el grupo. Como viene siendo habitual hemos actualizado la misma, le hemos incorporado información ocmo las últimas tendencias en el mundo de la comunicación científica y el punto de partida de la misma parte desde un breve análisis de la evolución de la Comunicación Científica Clásica, desde la aparición de las priemras revistas científicas (1665), hasta nuestros días. No obstante y como siempre, esta presentación sólo complementa la ponencia en vivo.

 

Indicadores de uso y participación en las revistas científicas 2.0

En plena canícula veraniega vio la luz en El Profesional de la Información un nuevo trabajo del grupo, en este caso acerca de las nuevas medidas de uso e indicadores 2.0 que se pueden utilizar para evaluar la actividad investigadora. Tomando la revista PLoS One como caso de estudio presentamos algunos datos que muestran la poca utilización hasta la fecha de las funcionalidades 2.0. Estas medidas se muestran (por el momento) poco maduras para la evaluación científica.

Dice el abstract:

Los nuevos entornos de publicación y comunicación científica han propiciado la aparición de nuevos indicadores Web. Junto a las métricas de uso, como las descargas, existen múltiples medidas que se generan a partir de la web 2.0 científica. Las revistas de la Public Library of Science recopilan de forma sistemática gran parte de estas nuevas métricas. Se presentan algunos de estos indicadores y su análisis cuantitativo mediante un estudio de caso a partir de 8.945 artículos publicados en la revista PLoS One. Los indicadores seleccionados han sido: número de comentarios,puntuación, número de bookmarks, enlaces desde blogs científicos, número de descargas, número de vistas y número de citas. Para todos ellos se han calculado sus estadísticas básicas así como las correlaciones entre ellas. Los resultados revelan la escasa participación de los científicos en la web 2.0 y cómo la mayor parte de estos indicadores, exceptuando las descargas y visitas, son medidas poco consolidadas.

Y la referencia completa;

Cabezas-Clavijo, Álvaro; Torres-Salinas, Daniel. Indicadores de uso y participación en las revistas científicas 2.0: el caso de PLoS One. El profesional de la información, 2010, julio-agosto, 19:4, 431-434. [descargar desde web de ec3]