¿Van de la mano los indicadores bibliométricos y la revisión por pares en la evaluación de proyectos?

DESCARGAR Reviewers’ Ratings and Bibliometric Indicators: Hand in Hand When Assessing Over Research Proposals?

Acabamos de publicar en PLOS ONE un trabajo en el que analizamos hasta qué punto coinciden los indicadores bibliométricos con la revisión por pares en la evaluación de proyectos de investigación. A partir de los solicitantes de proyectos en la convocatoria del Plan Nacional de Investigación en el año 2007, se determina para cada una de las áreas el grado en que ambas cuestiones van parejas. Para ello hemos contado con las puntuaciones otorgadas por la ANEP a dichos proyectos así como con el listado de proyectos concedidos por el Ministerio, entonces de Ciencia (la ANEP sólo evalúa, el Ministerio concede los proyectos).

Explicación del proceso de evaluación de proyectos en el Plan Nacional 2007

Los resultados señalan en primer lugar que los proyectos se conceden a los solicitantes que han mostrado mejor rendimiento previo. En términos bibliométricos los solicitantes que reciben proyectos presentan datos de productividad e impacto que suelen duplicar los de los solicitantes denegados. Pese a algunas discrepancias, sólo explicables bajo criterios no científicos (prioridades políticas, áreas estratégicas, re-equilibrios territoriales o de género) el sistema cumple razonablemente bien su proposito. Interesante es también señalar que, entre los cinco parámetros evaluados, el principal factor que asegura la concesión de un proyecto de investigación es el cv del investigador principal.

A partir de estos datos y de diversos análisis estadísticos, proponemos el uso de indicadores bibliométricos como complemento al peer review, para evaluar el cv de los solicitantes, ya que, de facto, es lo que están haciendo los evaluadores. También analizamos, área por área, qué indicador bibliométrico (o combinación de ellos) influye más en la concesión del proyecto (producción vs impacto)

Este estudio es uno de los pocos, hasta el momento, que analizan el proceso de evaluación y concesión de proyectos en España. Con ello pretendemos contribuir al debate sobre la política científica en nuestro país.

RESUMEN

Background

The peer review system has been traditionally challenged due to its many limitations especially for allocating funding. Bibliometric indicators may well present themselves as a complement.

Objective

We analyze the relationship between peers’ ratings and bibliometric indicators for Spanish researchers in the 2007 National R&D Plan for 23 research fields.

Methods and Materials

We analyze peers’ ratings for 2333 applications. We also gathered principal investigators’ research output and impact and studied the differences between accepted and rejected applications. We used the Web of Science database and focused on the 2002-2006 period. First, we analyzed the distribution of granted and rejected proposals considering a given set of bibliometric indicators to test if there are significant differences. Then, we applied a multiple logistic regression analysis to determine if bibliometric indicators can explain by themselves the concession of grant proposals.

Results

63.4% of the applications were funded. Bibliometric indicators for accepted proposals showed a better previous performance than for those rejected; however the correlation between peer review and bibliometric indicators is very heterogeneous among most areas. The logistic regression analysis showed that the main bibliometric indicators that explain the granting of research proposals in most cases are the output (number of published articles) and the number of papers published in journals that belong to the first quartile ranking of the Journal Citations Report.

Discussion

Bibliometric indicators predict the concession of grant proposals at least as well as peer ratings. Social Sciences and Education are the only areas where no relation was found, although this may be due to the limitations of the Web of Science’s coverage. These findings encourage the use of bibliometric indicators as a complement to peer review in most of the analyzed areas.

------------------

Cabezas-Clavijo Á., Robinson-García N., Escabias M., Jiménez-Contreras E. (2013) Reviewers’ Ratings and Bibliometric Indicators: Hand in Hand When Assessing Over Research Proposals? PLoS ONE 8(6): e68258. doi:10.1371/journal.pone.0068258

Nuevo artículo: Productividad e impacto de los investigadores españoles

Se acaba de publicar en la Revista Española de Documentación Científica, tanto en español como en inglés, el último trabajo del grupo, en el que analizamos la productividad y el impacto de los investigadores españoles, tomando como referencia los solicitantes de proyectos del Plan Nacional de I+D en 2007. Así reza el resumen:

Se presentan umbrales de referencia de producción e impacto científico de la investigación española con visibilidad internacional para las áreas definidas por la Agencia Nacional de Evaluación y Prospectiva (ANEP) en sus convocatorias. Tomando como población los solicitantes de proyectos del Plan Nacional de I+D 2007 (n= 3.356) se construyen tablas de referencia por percentiles que funcionan a modo de benchmarks, permitiendo efectuar comparaciones entre el comportamiento bibliométrico de un investigador y los registros de referencia en su área científica. Igualmente se ofrecen los datos de producción, impacto y visibilidad promedios para las áreas ANEP, y se discute el proceso de internacionalización de dichas áreas en el período 2000-2006, con una especial atención a las Ciencias Sociales. Finalmente, se sugiere el uso de umbrales de referencia como método de evaluación tanto para agencias financiadoras como para instituciones de investigación en sus procesos selectivos.

DESCARGAR VERSIÓN ESPAÑOLA -  Jiménez-Contreras, E., Robinson-García, N., Cabezas-Clavijo, Á. (2011). Productividad e impacto de los investigadores españoles: umbrales de referencia por áreas científicas. Revista española de documentación científica, 2011, 34(4), 505-525. doi:10.3989/redc.2011.4.828

 ----------------------------------------

DOWNLOAD ENGLISH VERSION - Jiménez-Contreras, E., Robinson-García, N., Cabezas-Clavijo, Á. (2011). Productivity and impact of Spanish researchers: reference thresholds within scientific areas. Revista española de documentación científica, 2011, 34(4), 505-525. doi:10.3989/redc.2011.4.828

Evaluación de las ciencias sociales y humanas: guía y ejemplo

Emilio la semana pasada andaba por aquí, por Pamplona, dando un par de conferencias en las dos universidades navarras (la pública y la privada). El tema elegido fue la evaluación de las ciencias sociales y humanas [un viejo clásico]. En esta ocasión las conferencias iban dirigidas sobre todo a profesores universitarios y se convirtió más bien en una especie de taller para enfrentarse y sobrevivir al tortuoso mundo de las acreditaciones, tramos, etc. Por eso gran parte del contenido versa sobre los diferentes criterios empleados por las agencias para evaluar estos campos. La presentación era ésta:

| View | Upload your own

Por la parte que me toca también estamos con el tema de las sociales y humanidades en la Unav y al menos en lo que respecta a las publicaciones en revistas científicas parece que vamos alcanzando algunos consensos. Concretamente la solución que hemos adoptado es utilizar los índices nacionales (Inrecs, Inrecj y Resh) más el JCR para evaluar y caracterizar cuantitativamente la producción de la universidad. Primero hay que automatizarlo todo y después ya sacaremos algunos resultados a ver ocurre, bueno aunque éste es un breve ejemplo de lo que pasa en el departamento derecho. Como veis la idea es extrapolar las técnicas que se han venido empleando con el JCR a los rankings españoles. Al menos con ésto tenemos un retrato.

| View | Upload your own

Los índices de impacto nacionales ¿son necesarios?

Si te interesa la pregunta aquí tienes la respuesta:

| View | Upload your own

Ésto lo presentaron Emilio & Evaristo en:
Jornada de Evaluación en Ciencias Sociales, Agencia Nacional de Evaluación y prospectiva. Palma de Mallorca, 22 de febrero de 2008.